Big Data Engineer
Architettura di pipeline dati massivi in ambienti distribuiti ad alta disponibilità e scalabilità industriale
Tendenza nella maggior parte dei paesi. I valori del tuo paese sono nella scheda Stipendi, formazione, mercato del lavoro.
Informazioni sulla professione
Il Big Data Engineer progetta, sviluppa e mantiene infrastrutture di elaborazione dati su larga scala in contesti cloud e on-premise.
Opera con tecnologie distribuite come Hadoop, Spark, Kafka e Flink per costruire pipeline batch e streaming. Collabora con data scientist, analisti e team DevOps per trasformare flussi di dati grezzi in risorse strutturate e interrogabili. Gestisce cluster su piattaforme AWS, GCP o Azure, ottimizza query su sistemi OLAP e definisce standard di qualità, sicurezza e governance dei dati aziendali.
Competenze
Competenze tecniche
- Esperienza con Apache Spark, Hadoop e Flink per big data
- Conoscenza di Kafka, Kinesis e Pub/Sub per streaming
- Competenza in Python, Scala e SQL avanzato
- Familiarità con servizi managed data su AWS, GCP e Azure
- Utilizzo di Airflow, dbt e Luigi per orchestrazione
- Implementazione di formati Parquet, ORC e Delta Lake
- Gestione di Kubernetes, Docker e Terraform
- Utilizzo di Hive, Presto, BigQuery e Redshift
Competenze trasversali
- Rigore analitico nella diagnosi di colli di bottiglia
- Capacità di tradurre requisiti business in architetture tecniche
- Autonomia nella gestione di ambienti complessi e distribuiti
- Comunicazione trasversale con profili tecnici e non tecnici
- Adattamento rapido a stack tecnologici in evoluzione continua
Compiti
- Progettare architetture di pipeline batch e streaming con strumenti avanzati come Apache Spark e Kafka per volumi superiori a 10TB/giorno
- Sviluppare job ETL/ELT in linguaggi come Python e Scala, riducendo i tempi di latenza del 30%
- Orchestrare workflow con Apache Airflow, monitorando SLA su oltre 200 DAG in produzione
- Implementare data lake su S3 o GCS con partizioni ottimizzate e formati Parquet/ORC
- Configurare cluster Hadoop e Spark su Kubernetes per ridurre i costi infrastrutturali del 25%
- Definire modelli di governance con Apache Atlas e Ranger, imponendo policy di accesso granulare
- Eseguire profilazione e validazione della qualità dei dati con Great Expectations su ogni pipeline critica
- Collaborare con team ML per esporre feature store aggiornati in real-time via Feast
- Monitorare metriche di throughput e disponibilità con Grafana e Prometheus su tutti i cluster attivi
- Automatizzare il provisioning infrastrutturale con Terraform e Ansible in ambienti multi-cloud
Ambienti di lavoro
- Scale-up tecnologiche con piattaforme dati proprietarie
- Grandi aziende con una data platform centralizzata
- ESN specializzate in cloud e data engineering
- Settore bancario, retail e telecomunicazioni
- Società di consulenza data-driven
- Ambienti multi-cloud ibridi con team distribuiti
Possibili evoluzioni
- Evoluzione verso Data Architect per progettare strutture dati avanzate
- Ruolo di Machine Learning Engineer per integrare modelli avanzatiVedi la scheda →
- Prospettiva di diventare Head of Data Engineering e guidare team
- Transizione a Cloud Solutions Architect per soluzioni scalabili
- Possibilità di raggiungere il ruolo di Chief Data Officer
Profilo ricercato
Domande frequenti
Professioni dello stesso settore
Questa professione per paese: Italia ·