Data Engineer - Bad Friedrichshall (gn)
- Du hast ausgeprägte Erfahrung im Data- oder Software Engineering über mindestens vier Jahre.
- Du verfügst über fundierte Kenntnisse in der Python-Entwicklung mit Fokus auf saubere Software-Prinzipien. JRE-Kenntnisse und praktische Erfahrung mit Softwaretests sind ein deutlicher Pluspunkt.
- Du bringst praktische Erfahrung in der Entwicklung von Batch- und Streaming-ETL-Pipelines mit. Du kennst dich mit Apache Spark oder ähnlichen Frameworks aus.
- Du weißt, wie man Schema-Evolution handhabt und Lakehouse-Speicherstrukturen pflegt.
Wissen über moderne Open-Table-Formate wie Apache Iceberg oder Delta Lake, sind wünschenswert. - Du orchestrierst komplexe Workflows souverän mittels Apache Airflow.
- Du verfügst über praktische Erfahrung mit Apache Kafka für Echtzeit-Messaging und Event-Processing.
- Du hast Erfahrung mit der Arbeit an containerisierten Anwendungen in Cloud-Umgebungen. Dies umfasst den praktischen Einsatz von Docker oder Kubernetes, vorzugsweise in der Google Cloud Platform.
- Du wendest etablierte Praktiken des DevOps- und Software-Engineering in deiner täglichen Arbeit an. Dazu
gehören die Nutzung von Git, das Schreiben automatisierter Tests und das Bereitstellen von Code über CI/CD-Pipelines. - Du verfolgst einen eigenverantwortlichen und detailorientierten Ansatz zur Gewährleistung von Datenintegrität. Du agierst erfolgreich in agilen Teamstrukturen und legst stets Wert auf hohe Qualität.
- ETL & Data Pipelines: Du entwickelst, betreibst und optimierst skalierbare ETL/ELT-Pipelines für Analytics und ML auf GCP.
- Lakehouse & Governance: Du baust Dateninfrastrukturen mit Open-Table-Formaten (Iceberg, Delta Lake) und setzt Zugriffsrechte (RLS/CLS), Kataloge (Unity Catalog) sowie Datenvalidierungen um.
- Streaming & Messaging: Du entwickelst und betreust Event-Driven-Lösungen mit Apache Kafka und Apache Spark.
- Software Excellence: Du schreibst sauberen, gut getesteten Code (Unit-, Integrations- & E2E-Tests) und wendest bewährte Softwaremuster an.
- DevOps & Operations: Du pflegst Airflow-DAGs, CI/CD-Pipelines sowie Kubernetes-Deployments und überwachst die Systemgesundheit zur Vermeidung von Ausfällen.
- Agile Kollaboration: Du arbeitest eng mit Data Scientists, Product Ownern und Fachbereichen zusammen, um Anforderungen in robuste Datenlösungen zu übersetzen.
Einleitungstext
Schwarz Digits schafft das technologische Fundament für digitale Entscheidungsfreiheit in Europa. Als IT- und Digitalsparte der Schwarz Gruppe entwickeln und verantworten wir einerseits die IT-Infrastrukturen für die Handelssparten Lidl und Kaufland sowie die Schwarz Produktion und PreZero. Gleichzeitig agieren wir als unabhängiger Anbieter am externen Markt, um Unternehmen in ganz Europa bei ihrer digitalen Transformation zu unterstützen. Unsere Kernleistungen bündeln wir in den Bereichen Cloud, Cyber Security, Data & AI, Communication und Workspace. Trage auch du zur digitalen Entscheidungsfreiheit in Europa bei.
Bei uns arbeitest du an der Schnittstelle zwischen Agilität und Sicherheit: Du profitierst von den schnellen Entscheidungswegen, genießt echte Gestaltungsspielräume in deinen Projekten und baust dabei auf das stabile Fundament der Schwarz Gruppe.
Deine Aufgaben
Empfohlene Jobs
Pre-Sales Manager (all genders)
Allgemein: Dir macht es Spaß, potenziellen Neukunden zu präsentieren, wie eine Customer Experience Platform die Lösung ihrer Probleme ist? Du hast ein vertriebliches Gespür siehst dich aber eh…
Technischer Verkaufsberater Sensorik DE Süd (m/w/d)
Technischer Verkaufsberater Sensorik DE Süd (m/w/d) HYDAC Group • Einsatzort bundesweit Vollzeit Kennziffer: DE9856 Diese Herausforderungen warten auf Sie Technische und kaufmännische Betr…
Serviceleiter (m/w/d)
Willkommen in unserer Welt des Handwerks und der Technik Die Heizung spinnt? Die Klingel ist kaputt? Das Licht bleibt aus? Nichts ist ärgerlicher als eine notwendige Reparatur in der eigenen Wohnu…
Fachreferent:in Instandhaltung Bau - Fahrbahn (m/w/d) - IT, Projektmanagement
Die Deutsche Bahn ist nicht nur einer der wichtigsten Mobilitätsdienstleister, sondern auch eines der größten Ingenieurbüros Deutschlands. Um neue Brücken, Tunnel, Bahnhöfe, Gleise und Signalanlagen …
Head of Business Development & Global Partnerships (m/w/d)
Gemeinsam internationale Partnerschaften gestalten Die viscan GmbH bündelt zentrale Vertriebs-,Management-, Verwaltungs- und Entwicklungsaufgaben für eine Unternehmensgruppe in den Bereichen: I…
Ausbildung Verkäufer REWE express Shop (m/w/d) (150530)
Retail Operating Company Deutschland GmbH (ROC) Wir, die ROC, gehören zur weltweit operierenden EG Group und betreiben deutschlandweit über 220 Tankstellen unter der Marke Esso und einige Standorte…
Leitende/r TFA (m/w/x) - Standort: Stuttgart
Tiermedizin neu gedacht - mit dir! Du liebst Tiere und möchtest ihre medizinische Versorgung revolutionieren? Bei uns bist du richtig! Wir gestalten die Tiermedizin von morgen – mit einem starke…
Senior Project Manager
TeamViewer provides a leading Digital Workplace platform that connects people with technology-enabling, improving and automating digital processes to make work work better. Our software solutions harn…
Bauzeichner m/w/d in Stuttgart gesucht
Wir suchen für unseren Kunden für ein renommiertes Unternehmen Sie als Bauzeichner m/w/d mit der Option zu Übernahme. Die Stelle ist in Stuttgart zu besetzen. Aufgaben Vorbereitung und Erstellu…