Data Engineer (AWS & Python) - sozialversicherungspflichtig angestellt (m/w/d)

Ihre Qualifikationen

• (Muss) 3 Jahre Erfahrung in der Entwicklung von Datenpipelines und Datenprodukten sowie in der Implementierung skalierbarer ETL-/ELT-Pipelines mit Python, SQL, PySpark und Apache Spark in Cloud-Umgebungen, in AWS und Azure
• (Muss) 3 Jahre Erfahrung in der Entwicklung, Migration, Modernisierung und dem Betrieb von Datenplattformen in AWS-Cloud-Umgebungen mit Services AWS Glue, Amazon S3 sowie idealerweise Erfahrungen mit AWS EMR, AWS Step Functions und Amazon EventBridge
• (Muss) Erfahrung in der Entwicklung von Datenverarbeitungs- und Machine-Learning-Anwendungen in Microsoft-Azure-Cloud-Umgebungen mit Azure Data Factory, PySpark, Python und Scala aus einem Projekt
• (Muss) 3 Jahre Erfahrung in der Migration und Modernisierung von Legacy-Datenanwendungen und On-Premise-Datenplattformen in Cloud-Umgebungen, inklusive Entwicklung von ETL-Migrationspipelines sowie Mapping und Validierung von Legacy- und Zieldatenmodellen
• (Muss) 3 Jahre Erfahrung in der Umsetzung von Datenqualitäts-, Test- und Monitoring-Lösungen für Datenpipelines, idealerweise auf Basis von Data Contracts
• (Soll) 3 Jahre Erfahrung in der Konzeption und Implementierung von DevOps Best Practices wie CI/CD-Prozessen, Infrastructure as Code und automatisierten Tests für die Bereitstellung cloudbasierter Datenpipelines und Plattformkomponenten in AWS- und Microsoft-Azure
• (Soll) Nachweis aktueller Zertifizierungen im Bereich Data Engineering (AWS Certified Data Engineer)
• (Soll) Erfahrung in der Entwicklung, dem Training und der Validierung von Machine-Learning- und Predictive-Analytics-Modellen in Azure-Cloud-Umgebungen sowie in der Orchestrierung der zugehörigen Datenpipelines mit Azure Data Factory aus einem Projekt
• (Soll) Erfahrung in der Konzeption und Implementierung von moderenen Data Governance Lösungen wie Data Contracts, Data Lineage, Medallion-Architekturen für Datenplattformen aus 3 Projekten