Senior Data Engineer – Plattformentwicklung

Senior Data Engineer – Geodaten und Big Data

Wir suchen einen erfahrenen Senior Data Engineer zur Entwicklung und Skalierung einer Datenplattform mit Fokus auf Geodaten- und Sensoranalysen. Zu Ihren Aufgaben gehört die Entwicklung von End-to-End-Systemen zur Verarbeitung, Integration und Analyse großer Datensätze, um Echtzeit-Einblicke für operative und analytische Zwecke zu liefern.

Sie arbeiten mit Ingenieuren, Analysten und Produktteams zusammen, um die Datenarchitektur, die Leistung und die Analysefähigkeiten der Plattform zu verbessern.

Key Responsibilities

Entwicklung und Wartung von Datenpipelines zur Verarbeitung großer Geodaten- und Sensordatensätze.
Entwickeln Sie verteilte Systeme mithilfe von Tools wie Apache Spark, Kafka und Hadoop.
Integrieren Sie diverse Datenquellen, darunter Satelliten-, Fernerkundungs-, IoT- und GIS-Feeds.
Entwickeln Sie analytische Modelle und Arbeitsabläufe, um Muster zu erkennen, Ergebnisse vorherzusagen und räumliche Analysen zu ermöglichen.
Implementieren Sie Streaming- und Echtzeit-Datensysteme zur Unterstützung der Entscheidungsfindung.
Stellen Sie skalierbare, cloudbasierte Datenumgebungen mit AWS, Azure oder GCP bereit.
Verwenden Sie Docker und Kubernetes zur Verwaltung containerisierter Bereitstellungen.
Gewährleisten Sie eine starke Datensicherheit, Governance und Compliance auf der gesamten Plattform.
Arbeiten Sie mit technischen und Business-Teams zusammen, um Anforderungen zu definieren und die Plattformleistung kontinuierlich zu verbessern.

Erforderliche Berufserfahrung

Mindestens 5 Jahre Erfahrung in den Bereichen Datenverarbeitung, Softwareentwicklung oder Plattformdesign.
Sehr gute Programmierkenntnisse in Python, Java oder Scala.
Kenntnisse von Frameworks wie Spark, Kafka oder Flink.
Erfahrung im Umgang mit Geodaten und Werkzeugen wie PostGIS, GDAL oder GeoServer.
Fundierte SQL- und NoSQL-Kenntnisse, einschließlich Data Warehousing und ETL-Entwicklung.
Erfahrung mit Cloud-Umgebungen wie AWS, Azure oder GCP.
Gutes Verständnis von Containerisierung mit Docker und Orchestrierung mit Kubernetes.
Kenntnisse der Standards für Datenschutz, Verschlüsselung und Zugriffsmanagement.
Kenntnisse der Prinzipien des maschinellen Lernens zur Mustererkennung oder prädiktiven Analytik.

Bevorzugte Qualifikationen

Abschluss in Informatik, Datenwissenschaft, Ingenieurwesen oder einem ähnlichen Bereich.
Kenntnisse im Umgang mit Visualisierungstools wie Tableau, Mapbox oder D3.
Erfahrung mit Echtzeit-Streaming-Frameworks wie Kafka Streams oder Apache Flink.
Erfahrung in Projekten im Bereich Geodaten oder Umweltinformationen.
Kenntnisse über Koordinatensysteme, räumliche Projektionen und Datenformatierungsstandards.