Databricks SC-geprüfter Dateningenieur

Vertrag: Außerhalb von IR35
Ort: Mit Sitz in Großbritannien, Hybrid-/Remote-Arbeit
Restposten: Aktive Sicherheitsüberprüfung erforderlich (Minimum)
Anfang: Juni
Tagessatz: Wettbewerbsfähige Marktpreise

Übersicht

Wir stellen ein Vertrag Databricks Data Engineer für eine groß angelegtes britisches Regierungsprogramm Bereitstellung kritischer, Cloud-nativer Datenplattformen. Dies ist ein langfristiges Projekt im Rahmen einer hochkarätigen Transformation des öffentlichen Sektors, bei dem mit sensiblen, geschäftskritischen Daten auf nationaler Ebene gearbeitet wird.

Sie müssen bereits besitzen aktive SC-Freigabe in Betracht gezogen werden.

Aufgaben

• Entwerfen, bauen und instand halten Databricks-Datenpipelines mit automatisierten Apache Spark (PySpark & ​​Spark SQL)
• Implementierung Delta Lake / Architektur von Seehäusern (Bronze, Silber, Gold)
• Skalierbare Lösungen entwickeln ELT/ETL-Workflows für Batch- und Streaming-Daten
• Optimieren Sie Leistung, Zuverlässigkeit und Kosten über Cloud-Datenplattformen hinweg.
• Tragen Sie Datenqualität, Governance und Sicherheitskontrollen an Regierungsstandards angepasst
• Arbeiten Sie in einem agilen Entwicklungsumfeld mit Architekten, Analysten und Plattformteams zusammen.
• Beitrag zu CI/CD-Pipelines und automatisierten Testverfahren

Grundlegende Fähigkeiten und Erfahrungen

• Nachweisbare Berufserfahrung als Databricks-Dateningenieur
• Strong PySpark , SQL capability
• Praktische Lieferung innerhalb AWS, Azure oder GCP
• Erfahrungen mit Delta Lake, Data Lakes und Data Warehouses
• Starkes Verständnis von Datenmodellierung und skalierbares Pipeline-Design
• Erfahrungen mit GitCI/CD und agile Arbeitsweisen
• Aktive Sicherheitsfreigabe (verpflichtend)

Wünschenswerte Erfahrung

• Vorherige Verträge der britischen Regierung oder des öffentlichen Sektors
• Erfahrungen mit Airflow, Azure Data Factory, AWS Glue oder Kafka
• Exposition gegenüber Schneeflocke oder hybride Datenarchitekturen
• Die Kenntnis der sichere, regulierte Datenumgebungen