Research Scientist - Pretraining-Daten für Foundation Models (all genders)

• Konzeption und Realisierung skalierbarer Datenpipelines zur Aufbereitung großer Web-Korpora (z.B. Common Crawl) als Trainingsdaten für Foundation Models, einschließlich Extraktion, Filterung, Deduplizierung und Qualitäts-/Toxizitätsbewertung • Entwicklung von Methoden zur synthetischen Datengenerierung mit großen Sprachmodellen für Pre-Training, Instruction Tuning und Alignment • Betrieb und Optimierung der Inferenz-Infrastruktur für große Models (z.B. vLLM) und Integration in Datenpipelines • Implementierung und Integration von Methoden in den Technologie-Stack und Einsatz auf Hochleistungsrechnern mit mehreren Tausend GPUs • Training von Foundation Models auf Basis entwickelter Methoden • Publikation von Forschungsergebnissen auf hochrangigen internationalen Konferenzen und Journals • Evaluierung des Marktpotentials der KI-Forschung zusammen mit Anwendungsteams

• Abgeschlossenes wissenschaftliches Hochschulstudium (Master, Diplom) in Informatik, Mathematik, Physik oder ähnlicher Fachrichtung mit ausgezeichnetem Abschluss, gerne mit Promotion • Tiefes Verständnis im Bereich Maschinelles Lernen, Data Science und Künstliche Intelligenz • Sehr gute Programmierkenntnisse, insbesondere in Python und PyTorch • Erfahrung mit Verarbeitung großer Datenmengen und verteiltem Rechnen (z.B. Spark, Ray, Dask) von Vorteil • Erfahrung mit Inferenz-/Serving Frameworks für große Sprachmodelle (z.B. vLLM, TGI, SGLang) von Vorteil • Erfahrung mit Web-Daten-Korpora und Aufbereitungsschritten (Sprachidentifikation, Deduplizierung, Qualitätsfilterung) wünschenswert • Exzellente analytische Fähigkeiten, abstraktes Denken, konzeptionelles Arbeiten • Hohe Einsatzfreude, Lernbereitschaft, strukturiertes Arbeiten, professionelles Auftreten • Sehr gute Deutschkenntnisse (Niveau C1 mindestens)

Research Scientist - Pretraining-Daten für Foundation Models (all genders)Research Scientist - Pretraining-Daten für Foundation Models (all genders)DresdenIAIS - Intelligente Analyse- und Informationssysteme