Controlador de rendimiento en IA

Habilidades

Habilidades técnicas

• MLflow, DVC, Weights & Biases para seguimiento de experimentos
• Prometheus, Grafana, Datadog para monitorización de sistemas
• Python, pandas, SciPy, scikit-learn para análisis estadístico
• Evidently AI, NannyML para detección de data drift
• Power BI, Tableau para visualización de métricas
• SQL y herramientas de consulta sobre almacenes de datos
• Frameworks de evaluación de equidad: Fairlearn, AI Fairness 360
• Conocimientos de arquitecturas MLOps y pipelines CI/CD para modelos

Habilidades interpersonales

• Rigor analítico ante volúmenes elevados de datos y señales contradictorias
• Comunicación técnica clara hacia interlocutores no especializados
• Autonomía en la priorización de anomalías según impacto en negocio
• Pensamiento crítico para cuestionar supuestos de modelización
• Capacidad de síntesis para traducir métricas técnicas en decisiones operativas

Misiones

• Diseñar marcos de evaluación para modelos de IA empleando métricas personalizadas como AUC, F1 y latencia, alineadas con objetivos de negocio
• Implementar pipelines de monitorización continua utilizando Prometheus y Grafana para detectar derivas de datos y conceptos en tiempo real
• Analizar distribuciones estadísticas de predicciones mediante Python y SciPy para identificar degradaciones superiores al 5% en producción
• Configurar alertas automáticas en sistemas MLOps cuando los KPIs de rendimiento caen por debajo de umbrales predefinidos
• Revisar logs de inferencia usando herramientas como Evidently AI para cuantificar el data drift en producción
• Producir informes periódicos de rendimiento con dashboards interactivos en Power BI o Tableau dirigidos a equipos técnicos y de negocio
• Coordinar pruebas A/B y experimentos de shadow deployment para comparar versiones de modelos con diferencias estadísticamente significativas
• Documentar metodologías de evaluación en repositorios Git y mantener registros de experimentos en MLflow
• Proponer acciones correctivas de reentrenamiento o ajuste de hiperparámetros cuando los modelos registran caída de precisión sostenida
• Validar la conformidad de los modelos con criterios de equidad algorítmica y sesgo utilizando Fairlearn o AI Fairness 360
• Colaborar con equipos de ingeniería de datos para auditar la calidad de los datos de entrada y su impacto en el rendimiento de los modelos

Entornos de trabajo

Los entornos de trabajo pueden variar:

Posibles evoluciones

• Ingeniero MLOps con responsabilidad sobre infraestructura de despliegue
• Lead de calidad de IA con alcance organizativo
• Responsable de gobernanza y ética de modelos algorítmicos
• Director técnico de plataformas de IA
• Consultor independiente en auditoría de sistemas de IA

Perfil buscado