Paese
Settore
Search a job
INFORMATIQUE-ELECTRONIQUE-NUMERIQUE
Big Data Engineer
Architettura di pipeline dati massivi in ambienti distribuiti ad alta disponibilità e scalabilità industriale
28 000 – 70 000 EUR (€)
Stipendio / anno
Laurea triennale o magistrale in Informatica, Ingegneria Informatica o campi affini
Livello formazione
00
Automazione
Medio
Difficoltà
Positiva
Occupabilità
6-12 mesi
Tensione del mercato
Medio
Mobilità
Possibile
Automazione
Medio
Difficoltà
Positiva
Occupabilità
6-12 mesi
Tensione del mercato
Medio
Mobilità
Possibile
About
Il Big Data Engineer progetta, sviluppa e mantiene infrastrutture di elaborazione dati su larga scala in contesti cloud e on-premise. Opera con tecnologie distribuite come Hadoop, Spark, Kafka e Flink per costruire pipeline batch e streaming. Collabora con data scientist, analisti e team DevOps per trasformare flussi di dati grezzi in risorse strutturate e interrogabili. Gestisce cluster su piattaforme AWS, GCP o Azure, ottimizza query su sistemi OLAP e definisce standard di qualità, sicurezza e governance dei dati aziendali.
Competenze
Competenze tecniche
- Esperienza con Apache Spark, Hadoop e Flink per big data
- Conoscenza di Kafka, Kinesis e Pub/Sub per streaming
- Competenza in Python, Scala e SQL avanzato
- Familiarità con servizi managed data su AWS, GCP e Azure
- Utilizzo di Airflow, dbt e Luigi per orchestrazione
- Implementazione di formati Parquet, ORC e Delta Lake
- Gestione di Kubernetes, Docker e Terraform
- Utilizzo di Hive, Presto, BigQuery e Redshift
Competenze interpersonali
- Rigore analitico nella diagnosi di colli di bottiglia
- Capacità di tradurre requisiti business in architetture tecniche
- Autonomia nella gestione di ambienti complessi e distribuiti
- Comunicazione trasversale con profili tecnici e non tecnici
- Adattamento rapido a stack tecnologici in evoluzione continua
Compiti
- Progettare architetture di pipeline batch e streaming con strumenti avanzati come Apache Spark e Kafka per volumi superiori a 10TB/giorno
- Sviluppare job ETL/ELT in linguaggi come Python e Scala, riducendo i tempi di latenza del 30%
- Orchestrare workflow con Apache Airflow, monitorando SLA su oltre 200 DAG in produzione
- Implementare data lake su S3 o GCS con partizioni ottimizzate e formati Parquet/ORC
- Configurare cluster Hadoop e Spark su Kubernetes per ridurre i costi infrastrutturali del 25%
- Definire modelli di governance con Apache Atlas e Ranger, imponendo policy di accesso granulare
- Eseguire profilazione e validazione della qualità dei dati con Great Expectations su ogni pipeline critica
- Collaborare con team ML per esporre feature store aggiornati in real-time via Feast
- Monitorare metriche di throughput e disponibilità con Grafana e Prometheus su tutti i cluster attivi
- Automatizzare il provisioning infrastrutturale con Terraform e Ansible in ambienti multi-cloud
Ambienti di lavoro
Gli ambienti di lavoro possono variare:
Scale-up tecnologiche con piattaforme dati proprietarie
Grandi aziende con una data platform centralizzata
ESN specializzate in cloud e data engineering
Settore bancario, retail e telecomunicazioni
Società di consulenza data-driven
Ambienti multi-cloud ibridi con team distribuiti
Possibili evoluzioni
- Evoluzione verso Data Architect per progettare strutture dati avanzate
- Ruolo di Machine Learning Engineer per integrare modelli avanzati
- Prospettiva di diventare Head of Data Engineering e guidare team
- Transizione a Cloud Solutions Architect per soluzioni scalabili
- Possibilità di raggiungere il ruolo di Chief Data Officer
Profilo ricercato
Pensiero sistemico applicato all'architettura dati
Orientamento alla misurazione delle performance
Precisione nella scrittura di codice riproducibile e testabile
Proattività nell'individuare inefficienze infrastrutturali
Flessibilità nell'adattamento a contesti agili
Come diventare Big Data Engineer?
