Big Data Architekt
Big Data Architekt – Konzeption skalierbarer Datenplattformen für unternehmensweite Analyseprojekte
Tendenz in den meisten Ländern. Die Werte Ihres Landes finden Sie unter „Gehälter, Ausbildung, Arbeitsmarkt“.
Über den Beruf
Der Big Data Architekt entwirft und implementiert skalierbare Dateninfrastrukturen in komplexen IT-Umgebungen.
Er arbeitet mit Werkzeugen wie Apache Hadoop, Spark, Kafka und Cloud-Plattformen (AWS, Azure, GCP), um große Datenmengen effizient zu verarbeiten und zu speichern. Er steht im Austausch mit Data Engineers, Data Scientists, Softwarearchitekten und Business-Stakeholdern, um technische Anforderungen in tragfähige Architekturentscheidungen zu übersetzen und den gesamten Datenlebenszyklus zu strukturieren.
Kompetenzen
Fachliche Kompetenzen
- Erfahrung mit Apache Hadoop, Spark, Kafka
- Kenntnisse in Cloud-Plattformen: AWS, Azure, GCP
- Kompetenz in Datenmodellierung: Data Lake, Data Warehouse, Lakehouse
- Vertrautheit mit ETL/ELT-Werkzeugen wie Airflow und Azure Data Factory
- Arbeit mit NoSQL-Datenbanken: Cassandra, MongoDB, HBase
- Fähigkeit, mit SQL und relationalen Datenbanken zu arbeiten
- Kenntnis von Datenkatalog und Governance: Apache Atlas, Collibra
- Erfahrung in der Containerisierung: Docker, Kubernetes
Soziale Kompetenzen
- Analytisches Denkvermögen bei komplexen technischen Problemen
- Strukturierte Kommunikation mit Stakeholdern
- Eigenverantwortliches Arbeiten in mehreren Projekten
- Kritische Bewertung von Technologieentscheidungen
- Bereitschaft zur Weiterbildung in sich wandelnden Technologielandschaften
Aufgaben
- Erstellen verteilter Datenarchitekturen (Hadoop, Spark) zur täglichen Verarbeitung von über 10 TB
- Setzen technischer Standards für Datenpipelines und ETL-Prozesse unter Verwendung von Apache Kafka und Airflow
- Auswahl und Bewertung von Cloud-Diensten (AWS Glue, Azure Data Factory) basierend auf Kosten- und Leistungskriterien
- Modellierung von Data-Lake- und Data-Warehouse-Strukturen (Snowflake, Delta Lake) für analytische Workloads
- Untersuchung von Leistungsengpässen in Spark-Jobs und Reduzierung der Laufzeit um mindestens 30 %
- Erstellung von Architekturprinzipien und technischen Roadmaps für Datenprojekte
- Zusammenarbeit mit Data Engineering-, BI- und Security-Teams bei plattformübergreifenden Projekten koordinieren
- Durchführung von Code- und Architektur-Reviews zur Einhaltung von Qualitäts- und Sicherheitsstandards
- Implementierung von Datenkatalog-Lösungen (Apache Atlas, Collibra) zur Verbesserung der Datennachvollziehbarkeit
- Abstimmung von Governance-Anforderungen (DSGVO, Zugriffskontrollen) mit dem Compliance-Team
Arbeitsumgebungen
- Großunternehmen mit unternehmensweiten Datenplattformen
- Technologieunternehmen und Scale-ups im Datenbereich
- Beratungsunternehmen mit Fokus auf Datentransformation
- Finanzdienstleister mit regulierten Datenumgebungen
- Gesundheitswesen und Pharma mit komplexen Datenschutzanforderungen
- Öffentliche Verwaltung mit Open-Data-Initiativen
Karrierewege
- Aufstieg zum Chief Data Officer (CDO)
- Position als Head of Data Engineering
- Rolle als Cloud Solutions Architect
- Führung als Data Platform Lead
- Position als Principal Engineer – Data Infrastructure
- CTO in datengetriebenen Unternehmen
Gesuchtes Profil
Häufige Fragen
Berufe derselben Branche
Dieser Beruf nach Land: Deutschland · Liechtenstein · Österreich · Schweiz ·