Senior Data Architect (m/w/d) - OpenShift, AWS, SQL - mit Bahn-Erfahrung

MUSS-Anforderung: (zwingend zu erfüllen)

• Erfahrung in Python-basierter Datenverarbeitung und Datenmodellierung sowie praktische Erfahrung mit SQL und relationalen Datenbanken. Erfahrungslevel in Jahren Senior (> 5 Jahre Erfahrung)
• Architektur- und Betriebserfahrung mit produktiven Kubernetes-/OpenShift-Plattformen im AWS-Umfeld. Anzahl Referenzen 3
• Erfahrung im Aufbau, in der Weiterentwicklung und im Betrieb von Azure-Databricks- und MLOps-Plattformen unter Berücksichtigung von Data Governance. Anzahl Referenzen 2
• Erfahrung in der Entwicklung und Integration Kafka-basierter Streaming-Anwendungen, einschließlich ereignisbasierter Datenverarbeitung und Anbindung bestehender Fachanwendungen. Anzahl Referenzen 2
• Projekterfahrung mit Daten und Anwendungen im Eisenbahnbetrieb, einschließlich Personaldisposition und Bearbeitung von Dispositionskonflikten. Anzahl Referenzen 2

SOLL-Anforderung:

• Zertifizierung in Databricks Zertifikate Databricks Data Engineering
• Mehrjährige Erfahrung in der Containerisierung und Bereitstellung von Python-Anwendungen mit Docker, einschließlich automatisierter Build- und Deployment-Prozesse. Erfahrungslevel in Jahren Intermediate (> 3 Jahre Erfahrung)
• Erfahrung mit eigenverantwortlich erbrachten, abgegrenzten Betriebsleistungsbausteinen für KI-Plattformen unter Nutzung von GitOps, GitLab CI/CD und Grafana-Monitoring. Anzahl Referenzen 1
• Erfahrung mit Security by Design, insbesondere RBAC, OIDC, Secrets-Management und Container-Härtung. Anzahl Referenzen 2

Aufgaben:

• Weiterentwicklung der Plattformarchitektur
• Analyse und Weiterentwicklung der Ziel- und Referenzarchitektur der hybriden Daten- und KI-Plattform unter Berücksichtigung von Microsoft Azure, Azure Databricks, DBMC/DBCS sowie der On-Prem-KI-Infrastruktur.
• Architektur und Weiterentwicklung von Azure Databricks
• Konzeption und Weiterentwicklung von Workspace-, Umgebungs-, Compute-, Netzwerk-, Identitäts- und Berechtigungsstrukturen sowie Unity Catalog und weiterer zentraler Databricks-Plattformfunktionen.
• Architektur der bestehenden KI-Plattform und On-Prem-Infrastruktur
• Konzeption und Weiterentwicklung containerisierter Daten- und KI-Plattformkomponenten auf DBMC/DBCS sowie Kubernetes-/k3s-basierter GPU- und CPU-Workloads auf der On-Prem-KI-Infrastruktur einschließlich der erforderlichen Schnittstellen und Integrationen
• Migration und Modernisierung bestehender Lösungen
• Analyse bestehender Daten-, ETL-/ELT-, Machine-Learning- und KI-Lösungen sowie Entwicklung geeigneter Ziel- und Übergangsarchitekturen für deren Modernisierung, Integration oder Migration auf die strategischen Plattformkomponenten.
• MLOps und KI-Plattformfähigkeiten
• Konzeption standardisierter Architekturen für Training, Experiment Tracking, Modellversionierung, Deployment, Model Serving, Inference und Monitoring über Cloud-, Container- und On-Prem-Ressourcen.
• Automatisierung und standardisierte Bereitstellung
• Konzeption wiederverwendbarer Infrastructure-as-Code-, CI/CD- und GitOps-Verfahren, insbesondere unter Nutzung von Terraform, Databricks Asset Bundles, GitLab CI/CD, Ansible und FluxCD.
• Governance, Security und Betriebsfähigkeit
• Entwicklung technischer Standards und Guardrails unter Berücksichtigung von IT-Sicherheit, Datenschutz, Berechtigungen, Governance, Observability, Skalierbarkeit, Verfügbarkeit, Betriebsfähigkeit und Kosten
• Technologieberatung und technische Entscheidungsgrundlagen
• Bewertung neuer Plattformtechnologien und -funktionen sowie Erarbeitung und Dokumentation von Lösungsvarianten, Architekturentscheidungen, Referenzarchitekturen und technischen Empfehlungen für die Weiterentwicklung der Daten- und KI-Plattform.