Senior Data Engineer (Azure Databricks)
Descrizione dell'offerta
Für unseren Kunden, ein Versicherungsunternehmen im Großraum Frankfurt am Main, suchen wir im Rahmen des Aufbaus einer neuen dispositiven Datenplattform (Lakehouse) auf Basis von Microsoft Azure und Databricks zwei erfahrene Data Engineers. Du baust die Datenstrecken von den Quellsystemen bis in das Core-Modell und übernimmst dabei die technische Federführung in der Umsetzung. Du arbeitest im Tandem mit Mitarbeitenden des Kunden und gibst dein Databricks-Know-how aktiv weiter. Aufgaben Anbindung von Quellsystemen und externen Dienstleistern (Delta-Lieferungen, Dateien, APIs) sowie eines CRM-Systems inklusive automatisierter Ladeprozesse Entwicklung von ETL/ELT-Strecken mit Delta-Verarbeitung, Fehlerbehandlung und nachvollziehbaren Wiederanlaufverfahren Umsetzung der Dublettenbereinigung und Zusammenführung von Kunden- und Vermittlerdaten Implementierung des Core-Datenmodells mit Historisierung entlang der Medallion-Architektur (Databricks, PySpark, SQL) Umsetzung von Datenqualitätsregeln, Prüfroutinen, Monitoring und Alerting Bereitstellung von Exporten und Rückflüssen an operative Systeme (z. B. Kampagnenselektionen für das CRM) Mitarbeit an Entwicklungspipeline und CI/CD, Rollen und Berechtigungen, Data Catalog und Lineage Dokumentation, Runbooks und Wissenstransfer im Tandem mit dem Kundenteam Anforderungen Mehrjährige Erfahrung als Data Engineer, idealerweise im Aufbau von Data-Warehouse- oder Lakehouse-Lösungen Sehr gute Kenntnisse in Databricks, PySpark/Spark, SQL und Delta Lake Praxis mit Databricks Workflows bzw. Azure Data Factory und weiteren Azure-Datenservices Erfahrung in Datenmodellierung und Historisierung (Data Vault und/oder dimensionale Modellierung) Kenntnisse in Git, CI/CD und automatisiertem Testing von Datenpipelines Erfahrung mit KI-gestützter Entwicklung (z. B. Coding-Assistenten, agentische Workflows) von Vorteil Erfahrung mit Quellsystemen und Daten im Versicherungsumfeld von Vorteil Freude an Wissensvermittlung und Zusammenarbeit im gemisc
Dettagli
- Azienda: Callista Group AG
- Sede: Frankfurt, Hessen, Germany
- Tipo di contratto: Tempo pieno
- Fonte: arbeitnow
- Valido fino al: 5 novembre 2026
Offerte simili
Come funziona la candidatura con LavorAI
- Carichi il CV una volta: LavorAI lo riscrive per ogni annuncio, in formato leggibile dagli ATS.
- Scegli ruoli e città: ogni giorno troviamo le offerte compatibili e prepariamo la candidatura.
- Le risposte dei recruiter arrivano nella tua Inbox e sulla tua email.