Senior Dateningenieur

Senior Dateningenieur (Vertrag)
Ort: London (Hybrid)

Wir suchen einen erfahrenen Senior Data Engineer, der die Konzeption und Implementierung eines cloudbasierten digitalen Betriebssystems leitet, das mehrere große Infrastrukturprogramme unterstützt. Diese Position ist zentral für die Integration kritischer Betriebstechnologien in eine einheitliche, ausfallsichere Datenplattform.

Key Responsibilities

• Entwicklung und Implementierung einer skalierbaren Azure-Datenplattform, die operative Rohdaten in strukturierte, berichtsfertige Schichten umwandelt.

• Entwicklung von Datenaufnahmepipelines für hochfrequente Zeitreihen- und IoT-ähnliche Daten aus wichtigen Infrastruktursystemen.

• Aufbau und Pflege von Cloud-Datenbeständen mithilfe von Azure Databricks, Synapse und Data Lake-Technologien.

• Bereitstellung von Echtzeit-Datenverarbeitung mit Kafka, Event Hub und Spark Streaming.

• Einrichtung und Aufrechterhaltung von Daten-Governance, Qualitätsrahmen und PHI/PII-Compliance.

• In Zusammenarbeit mit Stakeholdern ein Power BI „Master-Dashboard“ mit DAX und semantischer Modellierung entwerfen und implementieren.

Erforderliche Fähigkeiten und Erfahrungen

• Umfangreiche Erfahrung mit Azure Databricks, Azure Data Factory, Synapse und Unity Catalog

• Fundierte Kenntnisse in Python, PySpark und Spark SQL

• Nachweisliche Erfahrung mit hochfrequenten Zeitreihendaten

• Fachkenntnisse in Sternschema-, Schneeflockenschema- und Lakehouse-Architekturen

• Erfahrung mit Great Expectations, Grafana oder ähnlichen Observability-Tools

• Kenntnisse im Umgang mit CI/CD-Pipelines unter Verwendung von Azure DevOps oder GitHub Actions