Land
Sektor
Beruf suchen
KI-Leistungscontroller
Leistungsanalyse von KI-Systemen durch strukturierte Metriken, Benchmarks und datengetriebene Qualitätssicherung
70 000 – 140 000 CHF ($)
Gehalt / Jahr
Hochschulabschluss
Bildungsniveau
00
Automatisierung
Mittel
Schwierigkeit
Positiv
Beschäftigung
6-12 Monate
Marktanspannung
Mittel bis hoch
Mobilität
Möglich
Automatisierung
Mittel
Schwierigkeit
Positiv
Beschäftigung
6-12 Monate
Marktanspannung
Mittel bis hoch
Mobilität
Möglich
About
Der KI-Leistungscontroller analysiert und bewertet die operative Performance von KI-Modellen und maschinellen Lernsystemen in produktiven Umgebungen. Er nutzt Werkzeuge wie MLflow, Prometheus, Grafana sowie Python-basierte Evaluierungsframeworks, um Modellverhalten, Ressourcenverbrauch und Ausgabequalität systematisch zu überwachen. Er arbeitet eng mit Data Scientists, ML-Ingenieuren, Produktverantwortlichen und Compliance-Teams zusammen, um datenbasierte Entscheidungsgrundlagen für die Optimierung, Skalierung oder Abschaltung von KI-Systemen bereitzustellen.
Kompetenzen
Technische Kompetenzen
- MLflow, Weights & Biases für Experiment-Tracking
- Python (pandas, scikit-learn, NumPy) zur Datenanalyse
- Prometheus + Grafana für Echtzeit-Monitoring
- Evidently AI / NannyML zur Drift-Erkennung
- SQL für Datenbankabfragen und Reportingautomatisierung
- Tableau / Power BI zur Visualisierung von Leistungsmetriken
- Cloud-Plattformen (AWS, GCP, Azure) für Infrastruktur-Monitoring
- CI/CD-Pipelines für Modellversionsmanagement
Soft Skills
- Analytisches Denkvermögen bei komplexen Systemzusammenhängen
- Präzise schriftliche Kommunikation technischer Sachverhalte
- Strukturierte Arbeitsweise bei parallelen Monitoring-Aufgaben
- Kritisches Hinterfragen von Modellergebnissen und Messmethoden
- Kooperationsfähigkeit in interdisziplinären Teams
Aufgaben
- Entwicklung und Implementierung von KPI-Frameworks zur Bewertung von Modellgenauigkeit, Latenz und Drift anhand definierter Schwellenwerte
- Erhebung von Echtzeit-Performancedaten mithilfe von Prometheus und Grafana-Dashboards zur kontinuierlichen Systemüberwachung
- Durchführung von A/B-Tests und Benchmarkvergleichen zwischen Modellversionen mit statistisch validen Stichprobengrößen
- Analyse von Datendrift und Konzeptdrift unter Einsatz von Evidently AI oder ähnlichen Monitoring-Bibliotheken
- Erstellung monatlicher Leistungsberichte in Python und Tableau für Führungskräfte und technische Teams
- Identifikation von Leistungsabfällen durch Root-Cause-Analysen und Ableitung konkreter Optimierungsmaßnahmen
- Koordination mit ML-Ingenieuren zur Nachschulung von Modellen bei Unterschreitung definierter Qualitätsschwellen
- Dokumentation von Testprotokollen und Evaluierungsergebnissen in Confluence gemäß internen Qualitätsstandards
- Überwachung von Rechenressourcen und Infrastrukturkosten pro Modellinferenz mit Cloud-Kostenanalysetools
- Auswertung von Nutzerfeedback und Produktionslogs zur qualitativen Einschätzung von Modellausgaben
Arbeitsumgebungen
Die Arbeitsumgebungen können variieren:
Technologieunternehmen mit produktiven KI-Anwendungen im Einsatz
Finanzinstitute mit regulierten ML-Entscheidungssystemen
Gesundheitsdatenplattformen, die einer Qualitätssicherungspflicht unterliegen
E-Commerce-Unternehmen, die Empfehlungsalgorithmen nutzen
Forschungsnahe Industrieumgebungen mit R&D-Abteilungen
Öffentliche Verwaltung mit KI-gestützten Entscheidungstools
Karrierewege
- Aufstieg zum ML-Engineer mit Spezialisierung auf Modelloptimierung
- Position als Head of AI Quality Assurance
- Rolle als AI Governance und Compliance Manager
- Data Science Manager mit Führungsverantwortung
- MLOps-Architekt für produktive KI-Infrastrukturen
Gesuchtes Profil
Hohes Maß an Detailgenauigkeit bei Messaufgaben
Fähigkeit zur Übersetzung technischer Metriken in geschäftliche Handlungsempfehlungen
Eigeninitiative bei der Identifikation von Systemanomalien
Belastbarkeit bei hohem Datenvolumen und zeitkritischen Analysen
Wie werde ich KI-Leistungscontroller?
