Databricks-Architekt/Leiter für Datenqualität und Datenbereinigung

Ort: Hybrid – VAE | Abu Dhabi bevorzugt
Vertrag: Zunächst 6 Monate, mit hoher Wahrscheinlichkeit auf Verlängerung
Preis: Wettbewerbsfähig, abhängig von der Erfahrung
Anfang: So schnell wie möglich

Unser Kunde ist ein führendes Unternehmen in den VAE, das ein umfangreiches Programm zur Transformation der Unternehmensdaten durchführt , und sucht einen Databricks Data Quality & Remediation Architect / Lead Developer, der bei der Konzeption und Leitung der Implementierung einer neuen Datenqualitätsplattform im Unternehmensmaßstab mitwirkt.

Dies ist eine leitende, praxisorientierte Position, die Databricks-Architektur, Datenengineering und technische Führung vereint.

Was Sie tun

• Entwerfen und implementieren Sie ein skalierbares Data Quality & Remediation Engine auf Databricks.
• Architektur definieren, die Datenprofilierung, Qualitätsregeln, Ausnahmebehandlung, Ursachenanalyse und Behebung umfasst.
• Entwickeln Sie ein metadatengesteuertes Datenqualitäts-Framework.
• Bronze-, Silber- und Goldverarbeitungsschichten definieren.
• Arbeiten Sie mit Data-Governance-Teams und Data Stewards an kritischen Datenelementen und Datenqualitätsprozessen.
• Unterstützung der Microsoft Purview-Integration, -Governance, -Herkunftsnachverfolgung und -Überprüfbarkeit.
• Leiten Sie das Entwicklungsteam und geben Sie praktische technische Anweisungen.
• Eigene Berichterstattung zur Datenqualität, einschließlich Qualitäts-KPIs, Ausnahmen und Abhilfemaßnahmen.

Was wir suchen

• 5+ Jahre Erfahrung im Bereich Data Engineering, Databricks oder ähnlichen Funktionen.
• Im Idealfall Mindestens 2 Jahre Berufserfahrung als Lead oder Architekt.
• Starke praktische Erfahrung Databricks Erfahrung.
• Ausgezeichnet Python und PySpark Fähigkeiten.
• Fundierte Kenntnisse in Databricks Lakehouse, Delta Lake, Unity Catalog, Workflows, Lakeflow und Databricks SQL.
• Erfahrungen mit Azure-Databricks und Dienste wie Data Factory, ADLS Gen2 und Azure DevOps.
• Erfahrung mit Datenqualität, Governance oder Datenbehebungslösungen.
• Starke technische Führungs- und Stakeholder-Management-Fähigkeiten.

Wünschenswert

• Microsoft Purview.
• SAP S/4HANA, SAP BW oder Oracle Fusion.
• MLflow, Mosaic AI oder Databricks Asset Bundles.
• Unternehmensweite Datenverwaltung und Datenherkunft.

Warum bewerben?

Sie erhalten die Möglichkeit, die Architektur einer großen Enterprise-Datenplattform mitzugestalten , die Umsetzung zu leiten und an komplexen Herausforderungen im Bereich der Datenqualität in großem Umfang zu arbeiten.

Es wird erwartet, dass das Programm über den anfänglichen Sechsmonatsvertrag hinaus fortgesetzt wird und somit ein großes Potenzial für eine langfristige Zusammenarbeit bietet.

Sind Sie ein erfahrener Databricks Lead oder Architekt und suchen ein technisch anspruchsvolles Projekt, in dem Sie wirklich etwas bewegen können? Dann freuen wir uns auf Ihre Bewerbung. Bewerben Sie sich jetzt oder kontaktieren Sie uns für ein vertrauliches Gespräch.