Dateningenieur mit Sicherheitsfreigabe

Data Engineer – Multi-Cloud
Ort: London (Hybrid)
Gehalt: 45,000 £ – 65,000 £, abhängig von der Erfahrung

Beschreibung
Wir suchen einen Fachmann Dateningenieur Sie unterstützen die Konzeption, Entwicklung und Optimierung von Datenplattformen im Rahmen komplexer Transformationsprogramme. Diese Position ist ideal für einen Ingenieur mit praktischer Erfahrung in Datenpipelines, Cloud-Plattformen und ETL-Prozessen, der seine technischen Kenntnisse in einem kollaborativen, ergebnisorientierten Umfeld vertiefen möchte.

Sie werden eine Schlüsselrolle beim Aufbau zuverlässiger, skalierbarer Datenlösungen spielen, die Analysen, Berichte und operative Anwendungsfälle ermöglichen.

Key Responsibilities

• Entwicklung und Wartung von Datenpipelines und ETL-Prozessen unter Verwendung cloudnativer Technologien (z. B. Spark).

• Unterstützung der Integration von Cloud- und On-Premise-Datenquellen.

• Unterstützen Sie die Konzeption und Implementierung ereignisgesteuerter Datenpipelines, um Leistung und Skalierbarkeit zu verbessern.

• Beitrag zur Entwicklung von Datenzugriffsschichten und wiederverwendbaren ETL-Komponenten.

• Unterstützung bei der Integration neuer Datenquellen, einschließlich der Aufbereitung und Transformation von Datensätzen.

• Arbeiten Sie mit erfahrenen Ingenieuren zusammen, um Best Practices und Standards im Bereich Data Engineering anzuwenden.

• Beitrag zu CI/CD-Pipelines und Infrastructure as Code (IaC)-Aktivitäten.

• Arbeiten Sie in AWS- und Azure-Umgebungen und unterstützen Sie die Bereitstellung und Wartung von Datenlösungen.

• Zusammenarbeit mit Diensten wie:

  • AWS: EC2, EMR, S3, Lambda

  • Zu: Blob-Speicher und zugehörige Dienste

• Arbeiten Sie mit anderen Teams zusammen, um Datenqualität, Zuverlässigkeit und Leistungsfähigkeit sicherzustellen.

• Beteiligen Sie sich an Initiativen zum Wissensaustausch und zur kontinuierlichen Verbesserung.

Kenntnisse und Erfahrung (unbedingt erforderlich)

• Nachweisliche Erfahrung in der Datenverarbeitung oder ETL-Entwicklung.

• Fundierte Kenntnisse von Datenpipelines und Verarbeitungsframeworks (z. B. Spark oder ähnliches).

• Praktische Erfahrung mit Cloud-Plattformen (AWS und/oder Azure; Erfahrung mit beiden von Vorteil).

• Solides Verständnis von ETL-Prozessen und Datenintegrationskonzepten.

• Grundlegende Erfahrung mit Infrastructure as Code-Tools (z. B. Terraform) und/oder CI/CD-Tools (z. B. GitLab).

• Kenntnisse wichtiger Cloud-Dienste wie:

  • AWS: EC2, S3 (EMR/Lambda-Exposition vorteilhaft)

  • Zu: Blob-Speicher

• Kenntnisse in Versionskontrolle und kollaborativen Entwicklungsmethoden.

• Bewusstsein für Datensicherheit, Governance und Compliance-Aspekte.

Wünschenswert

• Erfahrung im Umgang mit ereignisgesteuerten Architekturen oder Streaming-Technologien.

• Kenntnisse über Datenzugriffsschichten und Datenplattformdesign.

• Erfahrung im öffentlichen Sektor oder in regulierten Umgebungen.

• Kenntnisse der Grundlagen von Cloud-Netzwerken.

• Hintergrund in Betrugsbekämpfung, Analytik oder groß angelegten Datenanwendungsfällen.

Sicherheitsanforderungen

• Diese Rolle erfordert Sicherheitsüberprüfung (SC).

• Die Kandidaten müssen geeignet und bereit sein, sich dem Sicherheitsüberprüfungsverfahren zu unterziehen.

Ingenieurspraktiken

• Zunehmendes Verständnis von DevOps und agilen Entwicklungsmethoden.

• Verpflichtung zum Schreiben von wartbarem, skalierbarem Code.

• Begeisterung für Automatisierung und wiederverwendbare Konstruktionsmuster.

• Aktive Teilnahme an Code-Reviews und gemeinsamen Entwicklungssitzungen.