Land
Sektor
Beruf suchen
Big Data Architekt
Big Data Architekt – Konzeption skalierbarer Datenplattformen für unternehmensweite Analyseprojekte
45 000 – 120 000 EUR (€)
Gehalt / Jahr
Hochschulabschluss
Bildungsniveau
00
Automatisierung
Mittel
Schwierigkeit
Positiv
Beschäftigung
6-12 Monate
Marktanspannung
Mittel bis Hoch
Mobilität
Möglich
Automatisierung
Mittel
Schwierigkeit
Positiv
Beschäftigung
6-12 Monate
Marktanspannung
Mittel bis Hoch
Mobilität
Möglich
About
Der Big Data Architekt entwirft und implementiert skalierbare Dateninfrastrukturen in komplexen IT-Umgebungen. Er arbeitet mit Werkzeugen wie Apache Hadoop, Spark, Kafka und Cloud-Plattformen (AWS, Azure, GCP), um große Datenmengen effizient zu verarbeiten und zu speichern. Er steht im Austausch mit Data Engineers, Data Scientists, Softwarearchitekten und Business-Stakeholdern, um technische Anforderungen in tragfähige Architekturentscheidungen zu übersetzen und den gesamten Datenlebenszyklus zu strukturieren.
Kompetenzen
Technische Kompetenzen
- Erfahrung mit Apache Hadoop, Spark, Kafka
- Kenntnisse in Cloud-Plattformen: AWS, Azure, GCP
- Kompetenz in Datenmodellierung: Data Lake, Data Warehouse, Lakehouse
- Vertrautheit mit ETL/ELT-Werkzeugen wie Airflow und Azure Data Factory
- Arbeit mit NoSQL-Datenbanken: Cassandra, MongoDB, HBase
- Fähigkeit, mit SQL und relationalen Datenbanken zu arbeiten
- Kenntnis von Datenkatalog und Governance: Apache Atlas, Collibra
- Erfahrung in der Containerisierung: Docker, Kubernetes
Soft Skills
- Analytisches Denkvermögen bei komplexen technischen Problemen
- Strukturierte Kommunikation mit Stakeholdern
- Eigenverantwortliches Arbeiten in mehreren Projekten
- Kritische Bewertung von Technologieentscheidungen
- Bereitschaft zur Weiterbildung in sich wandelnden Technologielandschaften
Aufgaben
- Erstellen verteilter Datenarchitekturen (Hadoop, Spark) zur täglichen Verarbeitung von über 10 TB
- Setzen technischer Standards für Datenpipelines und ETL-Prozesse unter Verwendung von Apache Kafka und Airflow
- Auswahl und Bewertung von Cloud-Diensten (AWS Glue, Azure Data Factory) basierend auf Kosten- und Leistungskriterien
- Modellierung von Data-Lake- und Data-Warehouse-Strukturen (Snowflake, Delta Lake) für analytische Workloads
- Untersuchung von Leistungsengpässen in Spark-Jobs und Reduzierung der Laufzeit um mindestens 30 %
- Erstellung von Architekturprinzipien und technischen Roadmaps für Datenprojekte
- Zusammenarbeit mit Data Engineering-, BI- und Security-Teams bei plattformübergreifenden Projekten koordinieren
- Durchführung von Code- und Architektur-Reviews zur Einhaltung von Qualitäts- und Sicherheitsstandards
- Implementierung von Datenkatalog-Lösungen (Apache Atlas, Collibra) zur Verbesserung der Datennachvollziehbarkeit
- Abstimmung von Governance-Anforderungen (DSGVO, Zugriffskontrollen) mit dem Compliance-Team
Arbeitsumgebungen
Die Arbeitsumgebungen können variieren:
Großunternehmen mit unternehmensweiten Datenplattformen
Technologieunternehmen und Scale-ups im Datenbereich
Beratungsunternehmen mit Fokus auf Datentransformation
Finanzdienstleister mit regulierten Datenumgebungen
Gesundheitswesen und Pharma mit komplexen Datenschutzanforderungen
Öffentliche Verwaltung mit Open-Data-Initiativen
Karrierewege
- Aufstieg zum Chief Data Officer (CDO)
- Position als Head of Data Engineering
- Rolle als Cloud Solutions Architect
- Führung als Data Platform Lead
- Position als Principal Engineer – Data Infrastructure
- CTO in datengetriebenen Unternehmen
Gesuchtes Profil
Technische Tiefe in verteilten Systemen
Fähigkeit zur Abstraktion komplexer Datenflüsse
Ausgeprägte Dokumentationsdisziplin
Entscheidungsstärke bei Technologieauswahl
Klare Kommunikation über Schnittstellen hinweg
Wie werde ich Big Data Architekt?
