Databricks Data Engineer (KI & Governance)

Ich arbeite mit einem Kunden zusammen, der seine Databricks-Plattform skaliert, um KI- und GenAI-Anwendungsfälle zu unterstützen. Er benötigt Unterstützung, um von Anfang an eine ordnungsgemäße Governance sicherzustellen. Es geht um praktische Erfahrung in der Databricks-Implementierung, nicht nur um Zertifizierungen. Es handelt sich um einen Remote-First-Vertrag, jedoch ist ein Wohnsitz in Großbritannien erforderlich. Die Tätigkeit fällt nicht unter die IR35-Regelung. 

Was sie bauen

• Unity Catalog als zentrale Verwaltungsebene für Daten, ML-Modelle und KI-Assets
• Gesteuerte GenAI- und Agenten-Workloads mithilfe von Mosaic AI und Agent Bricks
• Sichere, nachvollziehbare KI-Pipelines von der Datenerfassung bis zur Modellbereitstellung – alles innerhalb der Databricks-Plattform.

Databricks-Projekterfahrung, die wir suchen

• Implementierungen oder Migrationen des Unity-Katalogs vom Hive-Metastore, einschließlich Metastore-Design, Katalog- und Schemastruktur sowie Workspace- und Umgebungstrennung.
• Feingranulare Zugriffskontrolle im Unity Catalog: Zeilenfilter, Spaltenmasken und attributbasierte Zugriffskontrolle (ABAC) mit verwalteten Tags
• Unity Catalog-Herkunfts- und Systemtabellen, die für Audits, Nutzungsüberwachung und Compliance-Berichte verwendet werden
• Datenklassifizierung und Kennzeichnung sensibler Daten im Unity Catalog für personenbezogene Daten und regulierte Datensätze
• Mosaic AI Model Serving und AI Gateway, einschließlich Zugriffskontrollen, Ratenbegrenzung, Schutzmechanismen und Nutzungsverfolgung
• Modelle im Unity-Katalog über MLflow: Registrierung, Versionierung, Herkunft und Berechtigungen sowie MLflow-Tracing und -Evaluierung für GenAI-Anwendungen
• Agent Bricks oder das Mosaic AI Agent Framework im Produktiveinsatz, mit Kontrolle über die Daten und Tools, auf die Agenten zugreifen können.
• Databricks Lakehouse Monitoring und Datenqualitätserwartungen in Lakeflow Spark Declarative Pipelines zur Unterstützung der KI-Zuverlässigkeit
• Delta Sharing oder Databricks Clean Rooms für die kontrollierte Datenkollaboration
• Databricks Asset Bundles und CI/CD mit in die Bereitstellung integrierten Governance-Richtlinien

Idealer Hintergrund

• Praktische Erfahrung in der Databricks-Entwicklung oder -Architektur auf Azure, AWS oder GCP
• Lieferungen in regulierten oder risikosensiblen Umgebungen wie Finanzdienstleistungen, öffentlicher Sektor oder Gesundheitswesen
• Sie können erklären, was Sie in Databricks erstellt haben, welche Governance-Entscheidungen Sie getroffen haben und warum.

Warum gerade dieser?

• Arbeiten Sie an realen KI-Projekten mit tatsächlichen Governance-Anforderungen, nicht an Machbarkeitsstudien.
• Einblick in die neuesten Databricks-Funktionen im Produktionsbetrieb
• Ein Kunde, der Governance als eine zentrale Ingenieurdisziplin betrachtet.

Wenn Sie bereits Erfahrung mit Unity Catalog oder KI-Governance auf Databricks haben oder jemanden kennen, der dies getan hat, bewerben Sie sich jetzt!