Senior Dateningenieur

• Senior Dateningenieur
• Standort – London
• Hybrid – 3 Tage im Büro
• Sicherheitsüberprüfung – UNBEDINGT ERFORDERLICH
• Tagessatz 550-600
• Erfahrung – 8+ Jahre

Wir suchen eine Hochqualifizierter und erfahrener Senior Data Engineer mit Sicherheitsüberprüfung (SC-Check) um sich unserem Kunden anzuschließen und eine Schlüsselrolle bei der Entwicklung und Pflege seiner Azure Databricks-Plattform für WirtschaftsdatenDiese Plattform bildet die Grundlage für entscheidende Geldanalyse, Prognosen und Modellierung Aktivitäten, die diese Position für ihre Mission unerlässlich machen.

Key Responsibilities

Entwicklung und Optimierung von Datenpipelines

• Konzipieren, entwickeln und warten robuste, skalierbare Datenpipelines zum Aufnehmen, Transformieren und Laden von Daten aus verschiedenen Quellen (APIs, Datenbanken, Finanzdatenanbieter) in Azure-Databricks.
• Pipelines optimieren für Leistung, Effizienz und Kosteneffektivität.
• Implementierung Datenqualitätsprüfungen und Validierungsregeln innerhalb von Pipelines.

Datentransformation und -verarbeitung

• Komplexe Transformationen implementieren mit Spark (PySpark oder Scala) und verwandte Technologien.
• Entwickle Logik für Datenbereinigung, -anreicherung und -aggregation.
• Gewährleisten Datenkonsistenz und -genauigkeit während des gesamten Lebenszyklus.

Azure Databricks-Implementierung

• Intensive Zusammenarbeit mit Unity Catalog, Delta Lake, Spark SQLund andere Databricks-Dienste.
• Tragen Sie Best Practices für Entwicklung und Bereitstellung.
• Arbeitslasten optimieren für Leistung und Kosten.
• Programm in SQL, Python, R, YAML und JavaScript.

Datenintegration

• Daten integrieren von relationale Datenbanken, APIs und Streaming-Quellen.
• Implementierung Datenintegrationsmuster und Best Practices.
• Arbeiten Sie mit API-Entwicklern zusammen, um einen reibungslosen Datenaustausch zu gewährleisten.

Datenqualität und -verwaltung

• Praktische Erfahrung mit Azure-Betreuung für gute Unternehmensführung und hohe Qualität.
• Implementierung Überwachung, Alarmierung, Herkunftsverfolgung und Metadatenmanagement.
• Achten Sie auf die Einhaltung Richtlinien und Standards für die Datenverwaltung.

Zusammenarbeit und Kommunikation

• Eng zusammenarbeiten mit Datenwissenschaftler, Ökonomen und technische Teams Anforderungen in Lösungen umzuwandeln.
• Technische Konzepte vermitteln an technisches und nicht-technisches Publikum.
• Teilnahme an Code-Reviews und Wissensaustausch-Sitzungen.

Automatisierung & DevOps

• Automatisiere Prozesse mit Technologie Pipeline-Bereitstellungen und Datenverarbeitungsaufgaben.
• Bauen CI / CD-Pipelines mit DevOps-Teams.
• Fördern und umsetzen Bewährte Methoden für DevOps.

Grundlegende Fähigkeiten und Erfahrungen

• Ab 10 Jahre im Bereich Data Engineering, mit Mindestens 3 Jahre praktische Erfahrung mit Azure Databricks Erfahrung.
• Ausgeprägte Kenntnisse in Python mit einem Spark (PySpark oder Scala).
• Eingehendes Verständnis im Bereich Datenlager-, Modellierungs- und Integrationsmuster.
• Umfangreiche Erfahrung mit Azure-Dienste (Data Factory, Blob Storage, SQL-Datenbank).
• Fachwissen in große Datensätze und komplexe Datenpipelines.
• Bewährt Databricks-Implementierungserfahrung und Zertifizierungen.
• Talentiert in SQL- und NoSQL-Datenbanken.
• Erfahrungen mit Datenqualität, Governance und Versionskontrolle (Git).
• Vertrautheit mit Agile Methoden.
• Ausgezeichnet Kommunikations- und Problemlösungsfähigkeiten.
• Erfahrungen mit Streaming-Technologien (Kafka, Azure Event Hubs).
• Die Kenntnis der Visualisierungswerkzeuge (Tableau, Power BI).
• Erfahrungen mit DevOps-Werkzeuge (Azure DevOps, Jenkins, Docker, Kubernetes).
• Hintergrund in Finanzdienstleistungs- oder Wirtschaftsdatenumgebungen.
• Relevant Azure-Zertifizierungen (z. B. Azure Data Engineer Associate).