Paese
Settore
Search a job
AI Performance Controller
Misurazione e ottimizzazione delle performance dei sistemi di intelligenza artificiale in produzione
28 000 – 70 000 EUR (€)
Stipendio / anno
Laurea triennale o magistrale
Livello formazione
00
Automazione
Medio
Difficoltà
Positivo
Occupabilità
6-12 mesi
Tensione del mercato
Moderata
Mobilità
Possibile
Automazione
Medio
Difficoltà
Positivo
Occupabilità
6-12 mesi
Tensione del mercato
Moderata
Mobilità
Possibile
About
L'AI Performance Controller monitora, analizza e migliora le metriche di qualità dei modelli di intelligenza artificiale distribuiti in ambienti produttivi. Opera con strumenti di osservabilità come MLflow, Prometheus, Grafana e framework di valutazione LLM, interfacciandosi con team di data science, ingegneria ML e product management. Interpreta drift dei modelli, degrado delle predizioni e anomalie nei pipeline dati, traducendo i risultati in azioni correttive documentate e piani di ricalibrazione. Lavora in contesti ad alta automazione dove la qualità del dato e la stabilità delle inferenze impattano direttamente i processi aziendali.
Competenze
Competenze tecniche
- Monitoraggio modelli ML con strumenti come MLflow, Weights & Biases, Grafana
- Analisi di data drift e model drift con Evidently AI e WhyLabs
- Valutazione LLM con benchmark RAGAS, TruLens, e Evals framework
- Utilizzo di Python per scripting di metriche personalizzate e automazione test
- Gestione pipeline dati con Apache Airflow o Prefect
- SQL avanzato per interrogazione di log e dataset di valutazione
- Conoscenza di architetture ML in produzione: REST API, batch inference, streaming
Competenze interpersonali
- Rigore metodologico nell'interpretazione di dati statistici ambigui
- Comunicazione tecnica verso interlocutori non specialisti
- Autonomia nella definizione di priorità su sistemi complessi
- Capacità di sintesi per tradurre metriche tecniche in impatto business
- Approccio critico verso risultati numerici apparentemente coerenti
Compiti
- Definire KPI di performance per modelli ML e LLM, considerando accuratezza, latenza e altri parametri
- Monitorare dashboard Grafana e Prometheus per rilevare anomalie nelle inferenze in tempo reale
- Condurre analisi di data drift e concept drift utilizzando strumenti come Evidently AI e WhyLabs
- Progettare protocolli per la valutazione automatizzata di modelli generativi su benchmark settoriali
- Documentare i risultati delle sessioni di audit su MLflow e redigere report tecnici periodici
- Collaborare con i team ML Engineer per il retraining di modelli che superano soglie di degrado
- Eseguire test A/B e shadow deployment per confrontare versioni di modelli su traffico reale
- Analizzare i log di inferenza per identificare pattern di errore e bias sistematici
- Stabilire SLA tecnici per i sistemi AI e verificarne il rispetto con cadenza settimanale
- Produrre scorecard comparative tra versioni di modello per supportare decisioni di rilascio
- Implementare alert automatici su pipeline CI/CD per bloccare deploy sotto soglia di qualità
Ambienti di lavoro
Gli ambienti di lavoro possono variare:
Scale-up tecnologiche con prodotti AI core e innovativi
Grandi aziende con divisioni di AI applicata e sviluppo avanzato
Centri di eccellenza ML in ambito bancario, assicurativo o sanitario
Software house che sviluppano piattaforme SaaS basate su modelli predittivi
Laboratori di ricerca applicata con output industriali rilevanti
Possibili evoluzioni
- Diventare ML Engineer specializzato in sistemi di osservabilità avanzata
- Assumere il ruolo di AI Governance Manager responsabile di conformità
- Progredire verso Head of AI Quality per supervisione trasversale dei sistemi
- Evolvere in Principal Data Scientist con focus su affidabilità dei modelli
- Diventare consulente indipendente in AI risk assessment
Profilo ricercato
Orientamento alla misura quantitativa e precisa
Pensiero sistemico su pipeline complesse e articolate
Precisione nella documentazione tecnica e dettagliata
Capacità di lavorare su più modelli simultaneamente
Approccio metodico su dati rumorosi e complessi
Come diventare AI Performance Controller?
