Data Engineer (Databricks-Spezialist)

Wir suchen einen erfahrenen Databricks-Spezialist Sie entwerfen, entwickeln und optimieren skalierbare Datenpipelines. In enger Zusammenarbeit mit Business- und Analyseteams liefern Sie hochwertige, zuverlässige und gut verwaltete Datenlösungen und fördern moderne DataOps-Praktiken. Die Stelle ist ortsunabhängig, Ihr Wohnsitz muss jedoch in Großbritannien sein.

Key Responsibilities

• Bauen und pflegen Databricks-basierte Datenpipelines (PySpark, Delta Lake, SQL).

• Daten aus APIs, Datenbanken und Dateisystemen integrieren.

• Arbeiten Sie mit den Stakeholdern zusammen, um Anforderungen in technische Lösungen umzusetzen.

• Gewährleisten Datenqualität, Zuverlässigkeit, Sicherheit und Governance.

• Implementierung Git, CI/CD, automatisierte Tests und IaC.

• Optimieren Sie Databricks-Jobs, -Cluster und -Workflows.

• Prozesse und bewährte Verfahren dokumentieren.

Erforderliche Fähigkeiten

• Umfangreiche Erfahrung mit Databricks, PySpark, Delta Lake und SQL.

• Erweitert Python und SQL zur Datentransformation.

• Solides Verständnis von ETL/ELT, Data Warehousing und verteilte Datenverarbeitung.

• Praktische Erfahrungen mit DatenoperationenGit, CI/CD, Testen, IaC.

• Erfahrungen mit AWS, Azure oder GCP.

• Starke Fähigkeiten in Fehlerbehebung und Leistungsoptimierung.

Der ideale Kandidat wird sein:

• Selbstständiger Auftragnehmer, der technische Entscheidungen souverän treffen kann.

• Kommunikationsstarker Mitarbeiter, der gut mit Geschäfts- und Analyseteams zusammenarbeitet.

• Lieferorientiert, pragmatisch und erfahren in schnelllebigen Umgebungen