Senior Data Scientist (m/w/d) - RAG, Azure Databricks, Kubernetes, CI/CD, - mit Bahn-Erfahrung - Remote

MUSS-Anforderung: (zwingend zu erfüllen)

• Erfahrung in der Entwicklung und Integration von RAG-Anwendungen auf Azure Databricks. Anzahl Referenzen 2
• Erfahrung mit Streaming-Anwendungen auf Kubernetes sowie auf Azure Databricks. Anzahl Referenzen 2
• Erfahrung mit GitLab CI/CD, automatisierten Tests und kontrollierten Deployments von Datenund KI-Anwendungen. Erfahrungslevel in Jahren Senior (> 5 Jahre Erfahrung)
• Projekterfahrung mit Daten- und KI-Anwendungen im Eisenbahnbetrieb, insbesondere zur Unterstützung von Dispositionsprozessen und zur Integration in bestehende Betriebsanwendungen. Anzahl Referenzen 1
• Erfahrung in der Entwicklung Python-basierter Daten- und Backend-Anwendungen mit SQL und relationalen Datenbanken. Erfahrungslevel in Jahren Senior (> 5 Jahre Erfahrung)

SOLL-Anforderung:

• Kenntnisse in Databricks-Monitoring und Logging, Grafana-Anbindung, Alerting und Kostenmonitoring sowie bahninternen Betriebsvorgaben. Anzahl Referenzen 1
• Erfahrung mit Medallion-Architekturen, Change Data Capture und inkrementellen Gold-Layer-Aktualisierungen für Power BI, einschließlich Integrationstests und Environment Promotion. Anzahl Referenzen 1
• Erfahrung mit Migration bzw. Modernisierung bestehender Daten- oder KI-Lösungen zwischen Cloud-, Container-, Databricks- oder On-Prem-Plattformen. Anzahl Referenzen 1
• Abgeschlossenes Studium der Physik oder Mathematik als fachliche Grundlage für Data-Science-Leistungen und die Zusammenarbeit an mathematisch bzw. statistisch geprägten Fragestellungen. Zertifikate Abschluss Studium

Aufgaben:

• Entwicklung komplexer Daten- und Plattformkomponenten
• Konzeption und Implementierung produktionsreifer Datenverarbeitungen, Datenpipelines und wiederverwendbarer Plattformkomponenten auf Azure Databricks unter Einsatz von Python, SQL, PySpark, Apache Spark und Delta Lake.
• Weiterentwicklung der bestehenden KI-Plattform
• Entwicklung und Weiterentwicklung containerisierter Daten- und KI-Komponenten auf DBMC/DBCS einschließlich Kubernetes-basierter ETL-, Trainings- und Inference-Workloads sowie der erforderlichen Schnittstellen.
• Weiterentwicklung der On-Prem-KI-Plattform
• Entwicklung und Optimierung von Kubernetes-/k3s-basierten Daten- und KI-Workloads auf der On-Prem-Infrastruktur, insbesondere für GPU-/CPU-basierte Trainings- und Inference-Verfahren sowie die Bereitstellung von Modellen über standardisierte Schnittstellen.
• Migration und Modernisierung bestehender Lösungen
• Technische Analyse und Durchführung komplexer Migrationen bestehender ETL-/ELT-Verarbeitungen, Datenpipelines, Container-, Trainings- und Inference-Komponenten auf die jeweils vorgesehene Zielplattform einschließlich technischer Validierung und erforderlicher Übergangs- und Cutover-Verfahren.
• MLOps und Operationalisierung
• Implementierung standardisierter MLOps-Prozesse für Experiment Tracking, Modellversionierung, Deployment, Model Serving, Inference und Monitoring unter Nutzung von MLflow und weiteren bereitgestellten Plattformfunktionen.
• Automatisierung, CI/CD und Infrastructure as Code
• Entwicklung und Weiterentwicklung automatisierter Build-, Test-, Deployment- und Infrastrukturprozesse unter Nutzung von Terraform, Databricks Asset Bundles, GitLab CI/CD, Docker, Ansible und GitOps-/FluxCD-Verfahren
• Qualität, Monitoring und Betriebsfähigkeit
• Implementierung automatisierter Tests sowie technischer Monitoring-, Logging-, Alerting- und Fehlerbehandlungsmechanismen und Durchführung von Performance-, Stabilitäts- und Kostenoptimierungen.
• Technische Standards und Weiterentwicklung
• Entwicklung wiederverwendbarer Engineering-Komponenten und Referenzimplementierungen sowie technische Evaluierung und prototypische Integration neuer Azure-, Databricks-, Kubernetes-, Containerund KI-Plattformfunktionen innerhalb der vorgegebenen Architektur-, Security- und Governance-Leitplanken