Senior Databricks-Berater

Wir unterstützen ein umfangreiches Programm zur Transformation von Finanzsystemen und suchen dafür einen/eine Senior Databricks-Ingenieur Sie helfen beim Aufbau und der Weiterentwicklung eines skalierbaren Data-Engineering-Frameworks, das in kritischen Berichtsprozessen zum Einsatz kommt. Als erfahrener, praxisorientierter Entwickler gestalten Sie wiederverwendbare Bibliotheken, optimieren PySpark-Pipelines und leiten Offshore-Entwickler an, um qualitativ hochwertigen, produktionsreifen Code zu liefern.

Sie arbeiten in einer Databricks-on-Azure-Umgebung über die Ebenen der Datenerfassung, -validierung, -transformation und -zuordnung hinweg und tragen dazu bei, einheitliche Entwicklungsmuster zu etablieren und sicherzustellen, dass alle Lieferungen hohen Standards in Bezug auf Leistung, Rückverfolgbarkeit und Wartbarkeit entsprechen.

Was Sie tun würden:

• Aufbau und Erweiterung wiederverwendbare Databricks/PySpark-Bibliotheken (Aufnahme, Validierung, Transformation, Zuordnung).

• Entwicklung skalierbare, optimierte PySpark-Pipelines ausgerichtet auf metadatengesteuerte oder hybride Datenmodelle.

• Umsetzung robuste Validierungs- und Steuerungslogik geeignet für regulierte Finanzumfelder.

• Führende Ingenieursqualität: Code-BewertungenBetreuung von Offshore-Teams, Sicherstellung von Standards in Bezug auf Lesbarkeit, Tests und Leistung.

• Unterstützung von Integrationspfaden in nachgelagerte Berichtssysteme und Verwaltung von Rückkopplungen.

• Erstellung klarer Dokumentationen, Betriebshandbücher und Entwicklerleitfäden.

• Fundierte praktische Erfahrung mit Databricks und PySpark (Optimierung, Partitionierung, Orchestrierung).

• Solid Azure-Datenplattform Erfahrung.

• Nachgewiesene Fähigkeit zum Aufbau wiederverwendbare Frameworks/Bibliotheken mit klaren Abstraktionen.

• Erfahrung in der Anleitung oder Führung Offshore-Ingenieurteams.

• Ich bin es gewohnt, flexibel auf sich ändernde Anforderungen zu reagieren und gleichzeitig eine hohe technische Disziplin beizubehalten.

• Bonus: Einblick in Finanz- oder aufsichtsrechtliche Berichterstattung, Tagetikden Metadatengesteuerte/EAV-Modelle.