Ingeniero de Big Data

Habilidades

Habilidades técnicas

• Experiencia con Apache Spark, Flink y Kafka para procesamiento de datos.
• Dominio del ecosistema Hadoop, incluyendo HDFS, Hive y YARN.
• Conocimiento de plataformas cloud como AWS, GCP y Azure para soluciones escalables.
• Proficiencia en lenguajes como Python, Scala y SQL avanzado para análisis de datos.
• Orquestación de procesos con Apache Airflow o Prefect, garantizando eficiencia.
• Implementación de infraestructura como código con Terraform, Docker y Kubernetes.
• Familiaridad con formatos de datos como Parquet, Avro, Delta Lake e Iceberg.
• Control de calidad de datos mediante Great Expectations y pruebas dbt.

Habilidades interpersonales

• Aplicar un pensamiento sistémico ante arquitecturas complejas.
• Comunicación técnica clara con interlocutores no especializados.
• Autonomía en la resolución de incidentes de producción.
• Rigor en la documentación y trazabilidad de procesos.
• Capacidad de priorización en entornos de alta presión.

Misiones

• Concebir arquitecturas de datos distribuidas como Lambda y Kappa para manejar volúmenes superiores a 1 TB diario.
• Optimizar pipelines ETL/ELT utilizando Apache Spark y dbt, reduciendo tiempos de ingesta en un 40%.
• Implementar flujos de datos en tiempo real con Apache Kafka y Flink, asegurando una latencia inferior a 500 ms.
• Administrar clusters Hadoop/Spark en entornos cloud y on-premise, monitorizando rendimiento con Prometheus y Grafana.
• Modelar esquemas de datos en formatos Parquet, Avro y Delta Lake para optimizar costes de almacenamiento.
• Automatizar la orquestación de workflows con Apache Airflow, manteniendo tasas de éxito superiores al 99%.
• Colaborar con equipos de Machine Learning para construir feature stores y pipelines de entrenamiento reproducibles.
• Asegurar la calidad de datos implementando controles con Great Expectations y reduciendo anomalías en un 30%.
• Versionar infraestructura de datos con Terraform e integrar procesos CI/CD en GitLab o GitHub Actions.
• Documentar catálogos de datos en herramientas como Apache Atlas o DataHub, mejorando la trazabilidad.

Entornos de trabajo

Los entornos de trabajo pueden variar:

Posibles evoluciones

• Evolucionar hacia Arquitecto de Datos, liderando proyectos estratégicos.
• Convertirse en Data Platform Engineer, optimizando plataformas de datos.
• Avanzar como MLOps Engineer, integrando modelos de machine learning.
• Asumir el rol de Director de Ingeniería de Datos, gestionando equipos.
• Desarrollarse como CTO en entornos data-driven, impulsando la transformación.
• Trabajar como Consultor independiente en estrategia de datos, ofreciendo asesoría especializada.

Perfil buscado