Paese
Settore
Search a job
INFORMATIQUE-ELECTRONIQUE-NUMERIQUE
Big Data Architect
Concezione di architetture dati su larga scala per sistemi distribuiti ad alto volume e velocità
30 000 – 90 000 EUR (€)
Stipendio / anno
Laurea Magistrale
Livello formazione
00
Automazione
Medio
Difficoltà
Positiva
Occupabilità
2-3 anni
Tensione del mercato
Medio
Mobilità
Possibile
Automazione
Medio
Difficoltà
Positiva
Occupabilità
2-3 anni
Tensione del mercato
Medio
Mobilità
Possibile
About
Il Big Data Architect progetta e supervisiona infrastrutture di elaborazione dati massivi in contesti aziendali complessi. Opera su piattaforme distribuite come Hadoop, Spark, Kafka e Flink, integrandole con soluzioni cloud AWS, Azure o GCP. Definisce modelli architetturali per pipeline batch e streaming, governa la qualità e la sicurezza dei dati, e collabora con Data Engineer, Data Scientist, team DevOps e stakeholder di business per tradurre requisiti analitici in soluzioni tecniche scalabili e sostenibili.
Competenze
Competenze tecniche
- Esperienza con Apache Spark, Hadoop, Flink, Kafka
- Piattaforme cloud: AWS, Azure, GCP
- Data lakehouse: Delta Lake, Apache Iceberg, Apache Hudi
- Orchestrazione con Apache Airflow, Prefect
- Data governance tramite Apache Atlas, Collibra
- Linguaggi come Python, Scala, SQL avanzato
- Infrastructure as Code con Terraform, Ansible
- Containerizzazione e orchestrazione: Docker, Kubernetes
Competenze interpersonali
- Pensiero sistemico nell'analisi di architetture complesse
- Comunicazione tecnica verso interlocutori non specialisti
- Rigore nella documentazione e nelle decisioni architetturali
- Capacità di arbitraggio tra vincoli tecnici, costi e tempi
- Autonomia nella conduzione di progetti pluriennali
Compiti
- Progettare architetture Lambda e Kappa per pipeline dati con throughput superiore a 10TB/giorno
- Selezionare e validare tecnologie di storage distribuito come HDFS, Delta Lake, Apache Iceberg basate su latenza e costo
- Definire schemi di partizione e strategie di compressione per ridurre i costi di storage del 30% su cloud
- Orchestare workflow complessi tramite Apache Airflow o Prefect con disponibilità al 99,9%
- Implementare politiche di data governance con Apache Atlas per garantire la tracciabilità end-to-end
- Redigere Architecture Decision Records e documentare le scelte tecniche per revisione peer
- Condurre capacity planning e benchmark di performance su cluster Spark ottimizzando le risorse compute
- Integrare soluzioni di streaming con Apache Kafka e Flink per ridurre la latenza di ingestione sotto i 500ms
- Collaborare con i team di sicurezza per implementare cifratura e controllo degli accessi basato su ruoli
- Valutare e migrare architetture on-premise verso cloud-native con riduzione del TCO misurabile
- Definire standard di qualità dei dati e metriche di osservabilità tramite Great Expectations
Ambienti di lavoro
Gli ambienti di lavoro possono variare:
Grandi aziende con volumi dati superiori a 1PB
Scale-up tecnologiche in fase di crescita
Società di consulenza IT specializzata in data engineering
Settori
telecomunicazioni, finanza, retail, sanità, manifattura
Team distribuiti in contesti internazionali
Ambienti cloud-first o ibridi con legacy on-premise
Possibili evoluzioni
- Evoluzione verso Chief Data Officer (CDO)
- Ruolo come Data Engineering Manager
- Diventare Principal Architect Cloud & Data
- Consulente indipendente Big Data
- CTO in startup data-driven
- Head of Data Platform
Profilo ricercato
Visione architetturale a lungo termine
Precisione tecnica nella documentazione
Capacità di mentoring verso team di Data Engineer
Orientamento alla misurabilità dei risultati
Come diventare Big Data Architect?
