Dateningenieur mit Sicherheitsfreigabe

AWS-Dateningenieur (Aktuelle Sicherheitsüberprüfung erforderlich)

Überblick:
Wir suchen einen hochqualifizierten AWS Data Engineer für eine innovative Technologieberatung, die Lösungen in Großbritannien und Europa anbietet. Diese Position ist ideal für jemanden mit fundierter Erfahrung im Aufbau skalierbarer Datenpipelines und in der Arbeit in sicheren Cloud-Umgebungen.

Sie arbeiten mit Datenwissenschaftlern, Analysten und Softwareingenieuren zusammen, um effiziente und zuverlässige Datenlösungen zu liefern, die Analysen, Berichte und KI/ML-Initiativen unterstützen.

Aufgaben:

• Entwurf, Entwicklung und Wartung skalierbarer ETL/ELT-Pipelines unter Verwendung von AWS-Services wie Glue, Lambda, Step Functions und Kinesis.

• Arbeiten Sie mit strukturierten und unstrukturierten Daten aus verschiedenen Quellen und gewährleisten Sie eine effiziente Erfassung, Transformation und Speicherung.

• Aufbau und Optimierung von Data-Lake- und Data-Warehouse-Lösungen mit S3, Redshift, Athena und Lake Formation.

• Implementieren Sie Best Practices für Daten-Governance, -Sicherheit und -Compliance, einschließlich IAM, Verschlüsselung und Zugriffskontrollen.

• Überwachen und optimieren Sie die Leistung von Daten-Workflows mithilfe von CloudWatch und anderen AWS-nativen Tools.

• Automatisieren Sie Datenprozesse mit Python, PySpark, SQL und AWS SDKs.

• Zusammenarbeit mit funktionsübergreifenden Teams zur Unterstützung von Anwendungsfällen in den Bereichen Analytik, Business Intelligence und KI/ML.

• Pflege und Optimierung von CI/CD-Pipelines für die Dateninfrastruktur mithilfe von Terraform, CloudFormation oder CDK.

• Fehlerbehebung und Lösung von Problemen bei der Datenintegration, der Leistung und der Zuverlässigkeit.

Erforderliche Fähigkeiten und Erfahrungen:

• Mehr als 5 Jahre Erfahrung im Bereich Data Engineering, mit einem starken Fokus auf AWS.

• Fundierte Kenntnisse in Python, PySpark, SQL und AWS Glue.

• Praktische Erfahrung mit AWS-Datendiensten wie Redshift, Athena, Glue, EMR und Kinesis.

• Solides Verständnis von Datenmodellierung, Data Warehousing und Schema-Design.

• Erfahrung mit Streaming- und ereignisgesteuerten Architekturen (z. B. Kafka oder Kinesis).

• Fachkenntnisse im Bereich Infrastructure as Code (Terraform, CloudFormation oder CDK).

• Vertrautheit mit DevOps-Praktiken und CI/CD-Pipelines.

• Ausgeprägte Problemlösungskompetenz und Erfahrung in agilen Arbeitsumgebungen.

Wünschenswert:

• AWS-Zertifizierungen (Data Analytics Specialty oder Solutions Architect Associate).

• Erfahrung mit Airflow für die Orchestrierung.

• Erfahrung mit Big-Data-Frameworks wie Spark, Hadoop oder Presto.

• Erfahrung in der Unterstützung von KI/ML-Datenpipelines.