Big Data Architect
Concezione di architetture dati su larga scala per sistemi distribuiti ad alto volume e velocità
Tendenza nella maggior parte dei paesi. I valori del tuo paese sono nella scheda Stipendi, formazione, mercato del lavoro.
Informazioni sulla professione
Il Big Data Architect progetta e supervisiona infrastrutture di elaborazione dati massivi in contesti aziendali complessi.
Opera su piattaforme distribuite come Hadoop, Spark, Kafka e Flink, integrandole con soluzioni cloud AWS, Azure o GCP. Definisce modelli architetturali per pipeline batch e streaming, governa la qualità e la sicurezza dei dati, e collabora con Data Engineer, Data Scientist, team DevOps e stakeholder di business per tradurre requisiti analitici in soluzioni tecniche scalabili e sostenibili.
Competenze
Competenze tecniche
- Esperienza con Apache Spark, Hadoop, Flink, Kafka
- Piattaforme cloud: AWS, Azure, GCP
- Data lakehouse: Delta Lake, Apache Iceberg, Apache Hudi
- Orchestrazione con Apache Airflow, Prefect
- Data governance tramite Apache Atlas, Collibra
- Linguaggi come Python, Scala, SQL avanzato
- Infrastructure as Code con Terraform, Ansible
- Containerizzazione e orchestrazione: Docker, Kubernetes
Competenze trasversali
- Pensiero sistemico nell'analisi di architetture complesse
- Comunicazione tecnica verso interlocutori non specialisti
- Rigore nella documentazione e nelle decisioni architetturali
- Capacità di arbitraggio tra vincoli tecnici, costi e tempi
- Autonomia nella conduzione di progetti pluriennali
Compiti
- Progettare architetture Lambda e Kappa per pipeline dati con throughput superiore a 10TB/giorno
- Selezionare e validare tecnologie di storage distribuito come HDFS, Delta Lake, Apache Iceberg basate su latenza e costo
- Definire schemi di partizione e strategie di compressione per ridurre i costi di storage del 30% su cloud
- Orchestare workflow complessi tramite Apache Airflow o Prefect con disponibilità al 99,9%
- Implementare politiche di data governance con Apache Atlas per garantire la tracciabilità end-to-end
- Redigere Architecture Decision Records e documentare le scelte tecniche per revisione peer
- Condurre capacity planning e benchmark di performance su cluster Spark ottimizzando le risorse compute
- Integrare soluzioni di streaming con Apache Kafka e Flink per ridurre la latenza di ingestione sotto i 500ms
- Collaborare con i team di sicurezza per implementare cifratura e controllo degli accessi basato su ruoli
- Valutare e migrare architetture on-premise verso cloud-native con riduzione del TCO misurabile
- Definire standard di qualità dei dati e metriche di osservabilità tramite Great Expectations
Ambienti di lavoro
- Grandi aziende con volumi dati superiori a 1PB
- Scale-up tecnologiche in fase di crescita
- Società di consulenza IT specializzata in data engineering
- Settori: telecomunicazioni, finanza, retail, sanità, manifattura
- Team distribuiti in contesti internazionali
- Ambienti cloud-first o ibridi con legacy on-premise
Possibili evoluzioni
- Evoluzione verso Chief Data Officer (CDO)
- Ruolo come Data Engineering Manager
- Diventare Principal Architect Cloud & Data
- Consulente indipendente Big Data
- CTO in startup data-driven
- Head of Data Platform
Profilo ricercato
Domande frequenti
Professioni dello stesso settore
Questa professione per paese: Italia ·