Header

Data Engineer (w/m/d) - AWS / S3, Parquet, JSON, Python - größtenteils remote

Vor Ort & remote | Remote und Frankfurt | 01.07.2026 | 31.12.2026

Für unser Projekt IT_2246 suchen wir folgenden Spezialisten (m/w/d):


Abgabefrist: 22.06.2026 eob
Auslastung: Vollzeit
Örtlichkeit: 108 PT remote / 6 PT vor Ort in Frankfurt
Projektsprache: Deutsch 
Anstellungsart: Ausschließlich sozialversicherungspflichtige Festanstellung (keine freie Mitarbeit)
Honorar: max. 75€/Std. all in für remote und vor Ort
Besonderheiten: Ein Wohnsitz in Deutschland ist zwingend erforderlich  
 

Aufgaben:

  • Entwicklung von Datenpipelines zur Datenaufnahme und -verarbeitung
  • Aufbau von Datenbanken und Data Warehouses
  • Entwicklung von Datenmodellen für die Speicherung von Daten
  • Integration von Daten aus verschiedenen Quellen
  • Implementierung von Data Governance- und Sicherheitsrichtlinien
  • Optimierung von Datenbanken und Datenverarbeitungsprozessen
  • Erstellung von Datenvisualisierungen und -berichten
  • Automatisierung von Datenprozessen
  • Entwicklung von Lösungen zur Skalierung von Dateninfrastrukturen
  • Erstellung von APIs und Integration von Daten in Anwendungen
  • Entwicklung der Ingest-Pipeline: S3-Transfer Prüfung Provisioning
  • Implementierung automatisierter Datenqualitätsprüfungen (Schema-Validierung, Integritätsprüfung)
  • Integration der Malware-Scanning-Lösung in die Pipeline
  • Aufbau der Provisioning-Zone (geprüfte Daten für Konsumenten bereitstellen)
  • Feedback-Mechanismus an Datenlieferanten (Erfolg/Fehler)

MUSS-Anforderung: (zwingend zu erfüllen)

  • Fundierte Erfahrung im Aufbau von Datenpipelines auf AWS mit den Services S3, Step Functions, Lambda/Fargate, AWS Batch; Erfahrungslevel in Jahren ab 5 Jahre
  • Fundierte Erfahrung mit AWS Glue; Erfahrungslevel in Jahren ab 3 Jahre
  • Fundierte Erfahrung mit Datenformaten und Schema-Validierung: Parquet, CSV, JSON, YAML; Erfahrungslevel in Jahren ab 3 Jahre
  • Fundierte Erfahrungen in der Implementierung mit Python; Erfahrungslevel in Jahren ab 5 Jahre
  • Projekterfahrung in der Datenintegration aus heterogenen Quellen; Anzahl Referenzen 2 

 SOLL-Anforderung:

  • AWS-Zertifizierung Zertifikate AWS Certified Data Engineer oder Data Analytics Specialty; Gewichtung: 25%
  • Batch-Verarbeitung großer Datenmengen ( 500 GB pro Lieferung); Anzahl Referenzen 2; Gewichtung: 25%
  • Fundierte Erfahrung in der Event-Driven-Datenverarbeitung: EventBridge, Step Functions; Erfahrungslevel in Jahren ab 3 Jahre; Gewichtung: 25%
  • Fundierte Erfahrung in der Umsetzung von Infrastructure as Code mit AWS CDK; Erfahrungslevel in Jahren ab 1 Jahr; Gewichtung:  25% 

 

Die sms Consulting GmbH ist seit 1993 für Ihre Kunden ein kompetenter Partner für die Rekrutierung externer IT-Spezialisten und Festangestellten.

Ihre Bewerbung:
Bitte bewerben Sie sich nur, wenn Sie die Profil-Anforderungen umfänglich erfüllen und wenn Sie ggf. vorhandene Muss-/Mindestanforderungen voll erfüllen.
Bitte geben Sie bei Ihrer Bewerbung Ihren Stundensatz an und ab wann Sie Verfügbar sind.
Wenn Sie sich per Email bewerben gebe Sie bitte immer die Projekt-ID und den Titel der Ausschreibung mit an.

Bitte senden Sie uns als Partner/Unternehmen Ihren verfügbaren Mitarbeiter für das Projekt per E-Mail an:
Bitte nehmen Sie Kontakt mit uns auf, und/oder senden uns Ihre aussagekräftige Bewerbung an: