INTERNSHIP DETAILS

Pflichtpraktikum mit MA: Continued Pre-Training von Large Language Models zur KI-Domänenadaption

CompanyFraunhofer-Gesellschaft
LocationBerlin
Work ModeOn Site
PostedApril 29, 2026
Internship Information
Core Responsibilities
The intern will develop a domain-specific AI language model for production engineering using Continued Pre-Training techniques. Responsibilities include building a technical text corpus, optimizing tokenizers, and evaluating model performance on downstream tasks.
Internship Type
full time
Company Size
285
Visa Sponsorship
No
Language
German
Working Hours
39 hours
Apply Now →

You'll be redirected to
the company's application page

About The Company
Fraunhofer IGD is the international leading institute for applied research in visual computing. Visual computing is image- and model-based information technology and includes computer graphics and computer vision, as well as virtual and augmented reality. In simple terms, the Fraunhofer researchers in Darmstadt, Rostock, and Kiel are turning information into images and extracting information from images. In cooperation with its partners, technical solutions and market-relevant products are created. Prototypes and integrated solutions are developed in accordance with customized requirements. In doing so, Fraunhofer IGD places users at the forefront, providing them with technical solutions to facilitate computer work and make it more efficient. Owing to its numerous innovations, Fraunhofer IGD raises man-machine interaction to a new level. Man is able to work in a more result-oriented and effective way by means of the computer and visual computing developments.
About the Role

Mit ihrer Fokussierung auf zukunftsrelevante Schlüsseltechnologien sowie auf die Verwertung der Ergebnisse in Wirtschaft und Industrie spielt die Fraunhofer-Gesellschaft eine zentrale Rolle im Innovationsprozess. Als Wegweiser und Impulsgeber für innovative Entwicklungen und wissenschaftliche Exzellenz wirkt sie mit an der Gestaltung unserer Gesellschaft und unserer Zukunft.

Seit 50 Jahren steht das Fraunhofer-Institut für Produktionsanlagen und Konstruktionstechnik in Berlin für Exzellenz in der Produktionswissenschaft. Wir widmen uns der Verbindung von Wissenschaft und Praxis im Bereich industrieller Produktion und bieten anwendungsorientierte Systemlösungen für die ganze Bandbreite industrieller Aufgaben – von der Produktentwicklung über den Produktionsprozess, die Instandhaltung von Investitionsgütern und die Wiederverwertung von Produkten bis hin zu Gestaltung und Management von Fabrikbetrieben.

 

In der Abteilung Produktionsmaschinen und Anlagenmanagement entwickeln wir digitale Lösungen im Kontext von Industrie 4.0 mit der Vision einer resilienten und nachhaltigen Produktion. Unsere Themenschwerpunkte liegen dabei auf der Unterstützung von Mitarbeitenden auf dem Shopfloor bei der Organisation und Durchführung von Tätigkeiten, der datengetriebenen Optimierung von Prozessen im produktionstechnischen Umfeld durch Erfassung, Auswertung und Bereitstellung von Daten im Industrial Internet of Things (IIoT) sowie auf Methoden und Technologien zur energieeffizienten Produktion. Eine zentrale Rolle spielt dabei der Einsatz von Methoden der künstlichen Intelligenz in Kombination mit dem entsprechenden Domänen-Knowhow.

 

Hier sorgen Sie für Veränderung

 

Im Bereich der KI-gestützten Wissensverarbeitung wird eine Abschlussarbeit ausgeschrieben, die sich mit der Domänenadaption von Large Language Models (LLMs) durch Continued Pre-Training (CPT) befasst. Ziel ist die Entwicklung eines auf die Produktionstechnik spezialisierten KI-Sprachmodells, das Fachterminologie, technische Zusammenhänge und domänenspezifisches Wissen (z. B. Fertigungsverfahren, Maschinenkomponenten, Normen) besser versteht und verarbeitet als generalistische Basismodelle. Die Arbeit umfasst:

 

  • Literaturrecherche zum Stand der Technik im Bereich Continued Pre-Training und Domain-Adaptive Pre-Training (DAPT)
  • Aufbau eines domänenspezifischen Textkorpus aus öffentlichen Datensätzen, technischer Dokumentation, Normen, Fachpublikationen und Produktionsdaten
  • Analyse und ggf. Erweiterung des Tokenizers zur besseren Abdeckung von Fachvokabular
  • Durchführung des Continued Pre-Training auf einem Open-Source-Basismodell (z. B. Llama, Mistral)
  • Evaluation des adaptierten Modells hinsichtlich Perplexity, Fachsprachverständnis und Downstream-Performance (z. B. in RAG-Anwendungen)

 

Hiermit bringen Sie sich ein

 

  • Masterstudium der (Wirtschafts-)Informatik, Data Science, Informationstechnik im Maschinenwesen, Computational Engineering oder verwandte Fachgebiete
  • Programmierkenntnisse in Python
  • Erfahrung mit LLM-Frameworks (z. B. Hugging Face Transformers, DeepSpeed)
  • Grundkenntnisse in NLP, Tokenisierung und Sprachmodellarchitekturen
  • Wünschenswert ist ein Technikverständnis im Rahmen der Produktionstechnik
  • Ein hohes Maß an Eigeninitiative sowie eine analytische, methodische und strukturierte Arbeitsweise

 

Was wir für Sie bereithalten

 

  • ein tolles Team und ein offenes, kollegiales Miteinander
  • flexible Arbeitszeiten, die sich mit Deinem Studium vereinbaren lassen
  • eine spannende und abwechslungsreiche Tätigkeit in einem führenden Forschungsinstitut
  • Möglichkeiten an aktuellen Forschungsprojekten mitzuwirken
  • Einblick in moderne Technologien und innovative Fertigungsprozesse
  • anschließende Masterarbeit

 

Die wöchentliche Arbeitszeit beträgt 39 Stunden (Vollzeit).

Die Vergütung richtet sich nach den Richtlinien des Bundes zur Praktikantenvergütung.

Die Dauer der Abschlussarbeit richtet sich nach den Vorgaben Ihrer Hochschule.

Die Fraunhofer-Gesellschaft legt Wert auf die berufliche Gleichstellung von Frauen und Männern.

 

Wir wertschätzen und fördern die Vielfalt der Kompetenzen unserer Mitarbeitenden und begrüßen daher alle Bewerbungen – unabhängig von Alter, Geschlecht, Nationalität, ethnischer und sozialer Herkunft, Religion, Weltanschauung, Behinderung sowie sexueller Orientierung und Identität. Schwerbehinderte Menschen werden bei gleicher Eignung bevorzugt eingestellt. Wir freuen uns über Bewerbungen von weiblichen Personen aus MINT-Berufen.

 

Fraunhofer ist die größte Organisation für anwendungsorientierte Forschung in Europa. Unsere Forschungsfelder richten sich nach den Bedürfnissen der Menschen: Gesundheit, Sicherheit, Kommunikation, Mobilität, Energie und Umwelt. Wir sind kreativ, wir gestalten Technik, wir entwerfen Produkte, wir verbessern Verfahren, wir eröffnen neue Wege.

 

Bereit für Veränderung? Dann bewerben Sie sich jetzt, und machen Sie einen Unterschied! Nach Eingang Ihrer Online-Bewerbung erhalten Sie eine automatische Empfangsbestätigung. Dann melden wir uns schnellstmöglich und sagen Ihnen, wie es weitergeht. 
 

Bei Fragen wenden Sie sich gerne an:

 

Herrn

Philipp Lelidis

E-Mail: philipp.lelidis@ipk.fraunhofer.de

 

Bitte bewerben Sie sich ausschließlich über das Recruiting-Portal (Button "Jetzt Bewerben" unten rechts).

Fraunhofer-Institut für Produktionsanlagen und Konstruktionstechnik IPK 

www.ipk.fraunhofer.de 


Kennziffer: 84345  

 

Key Skills
PythonLarge Language ModelsContinued Pre-TrainingNLPTokenizationHugging Face TransformersDeepSpeedData ScienceMachine LearningProduction EngineeringArtificial IntelligenceAnalytical thinking
Categories
TechnologyScience & ResearchSoftwareData & AnalyticsEngineering
Benefits
Flexible working hoursCollaborative team environmentResearch project participationInsight into innovative technologies