Fraunhofer Berlin
Pflichtpraktikum mit MA: Continued Pre-Training von Large Language Models zur KI-Domänenadaption
Aufgaben
Literaturrecherche zum Stand der Technik bei Continued Pre-Training und Domain-Adaptive Pre-Training • Aufbau eines domänenspezifischen Textkorpus aus öffentlichen Datensätzen, technischer Dokumentation, Normen und Produktionsdaten • Analyse und Erweiterung des Tokenizers für bessere Abdeckung von Fachvokabular • Durchführung des Continued Pre-Training auf einem Open-Source-Basismodell wie Llama oder Mistral • Evaluation des adaptierten Modells hinsichtlich Perplexity, Fachsprachverständnis und Downstream-Performance in RAG-Anwendungen
Anforderungen
Masterstudium in (Wirtschafts-)Informatik, Data Science, Informationstechnik im Maschinenwesen, Computational Engineering oder verwandten Fachgebieten • Programmierkenntnisse in Python • Erfahrung mit LLM-Frameworks wie Hugging Face Transformers oder DeepSpeed • Grundkenntnisse in NLP, Tokenisierung und Sprachmodellarchitekturen • Wünschenswert: Technikverständnis in Produktionstechnik • Eigeninitiative, analytische, methodische und strukturierte Arbeitsweise
Redaktionelle Kurzfassung auf Basis der öffentlich zugänglichen Ausschreibung. Der vollständige Text steht bei der ausschreibenden Einrichtung. Zur Original-Ausschreibung →
Besonderheiten
Pflichtpraktikum mit MA: Continued Pre-Training von Large Language Models zur KI-DomänenadaptionPflichtpraktikum mit MA: Continued Pre-Training von Large Language Models zur KI-DomänenadaptionBerlinIPK - Produktionsanlagen und Konstruktionstechnik
Schlagworte
Deutschlands Stellenbörse für die Wissenschaft
wissenschaftsstellen.de
Fraunhofer Berlin – 2 weitere Stellen