Azure Databricks Architekt

6-Monats-Vertrag
Remote, mit 2 Tage pro Monat vor Ort in London.
Aktive Sicherheitsüberprüfung erforderlich
Innerhalb von IR35

Übersicht

Wir suchen einen erfahrenen Azure Databricks Architekt die Konzeption und kontinuierliche Weiterentwicklung einer cloudbasierten Daten- und Analyseplattform innerhalb eines Unternehmens zu leiten und sicherzustellen öffentlichen Sektor Diese Position konzentriert sich auf die Plattformarchitektur, Datendesignmuster, Governance-Frameworks und nicht-funktionale Anforderungen. Sie arbeiten eng mit den Entwicklungsteams und Stakeholdern zusammen, um sicherzustellen, dass die Plattform die organisatorischen und staatlichen Standards für Sicherheit, Skalierbarkeit und Compliance erfüllt.

Key Responsibilities

• Definition und Überwachung der End-to-End-Architektur von Azure Databricks-basierten Datenplattformen.
• Erstellen Sie Lakehouse-Designs unter Einbeziehung von Azure Databricks, ADLS Gen2und zugehörige Azure-Dienste.
• Produzieren und pflegen High-Level Designs (HLDs) und Low-Level-Designs (LLDs).
• Entwicklung und Durchsetzung bewährter Verfahren für die Datenerfassung, -transformation und -nutzung.
• Datensicherheitsmodelle gestalten, einschließlich RBAC- und Datentrennungsstrategien.
• Sicherstellen, dass die Plattformen die Anforderungen des öffentlichen Sektors in Bezug auf Governance, Compliance und Sicherheit erfüllen.
• Bei architektonischen Entscheidungen sollten Leistungsfähigkeit, Ausfallsicherheit, Skalierbarkeit und Kosteneffizienz berücksichtigt werden.
• Beteiligen Sie sich an architektonischen Qualitätssicherungsprozessen und strukturierten Designprüfungen.
• Definieren Sie Integrationsansätze mit Azure Data Factory, ereignisgesteuerten und Batch-Ingestion-Diensten sowie nachgelagerten Analyse-/Berichtsplattformen.
• Bereitstellung von Architekturvorgaben für CI/CD-Pipelines und Infrastructure-as-Code.
• Leitung von Optimierungsmaßnahmen zur Unterstützung eines nachhaltigen Plattformbetriebs.
• Als Designautorität für Databricks-Entscheidungen über mehrere Entwicklungsteams hinweg fungieren.
• Unterstützung der Entdeckungs- und Frühphasenentwicklung für neue Daten- und Analyseinitiativen.
• Identifizieren Sie technische Risiken, Abhängigkeiten und Einschränkungen und tragen Sie so zur Entwicklung von Risikominderungsplänen bei.

Grundlegende Fähigkeiten und Erfahrungen

• Langjährige Erfahrung in der Entwicklung von Azure Databricks-basierten Architekturen in Unternehmensumgebungen.
• Tiefes Verständnis der Lakehouse-Prinzipien, Delta Lakeund Governance-Fähigkeiten.
• Architekturexpertise mit Spark-basierten Plattformen.
• Erfahrung in der Konzeption sicherer, regulierter Plattformen im Kontext von Regulierungen oder dem öffentlichen Sektor.
• Nachweisliche Fähigkeit zur Erstellung hochwertiger HLDs, LLDs und architektonischer Entscheidungsartefakte.
• Hervorragende Kenntnisse der Azure-Datendienste und Integrationstechnologien.

Erwünschte Fähigkeiten und Erfahrungen

• Erfahrung in der Bereitstellung von Datenplattformen innerhalb der britischen Regierung oder in Organisationen des breiteren öffentlichen Sektors.
• Kenntnisse der Cloud- und Sicherheitsframeworks der britischen Regierung.
• Erfahrung im Bereich der architektonischen Qualitätssicherung oder bei Gremien zur Designprüfung.
• Kenntnisse über unternehmensweite Analyse- und Berichtssysteme.
• Relevante Azure- oder Databricks-Zertifizierungen.

Engagement-Modell

Diese Rolle ist primär beratend und architektonisch ausgerichtet und weniger operativ. Sie arbeiten team- und arbeitsgruppenübergreifend und unterstützen sowohl die Bereitstellung als auch die Qualitätssicherung während des gesamten Lebenszyklus der Datenplattform.