Stage - Concilier représentation compacte et précision locale dans les Speech-Aware LLMs F/H

Publication date : Sep 25, 2026, 4:31PM

Les Speech-Aware LLMs peuvent être vus comme des Large Language Models, mais capables de traiter nativement de la voix. Ils doivent souvent traiter simultanément des informations de niveaux différents : comprendre globalement un échange, tout en conservant des éléments précis tels que des entités nommées ou des contraintes du dialogue.

Une difficulté importante vient du choix de la représentation interne du modèle. Certaines approches se basent sur des représentations à granularité très fine, qui préservent les détails locaux, mais produisent des séquences longues et coûteuses, en particulier pour des enregistrements comme les réunions. À l’inverse, des approches récentes proposent d’utiliser une représentation compacte (par phrase ou par segment), ce qui réduit fortement le coût de traitement mais peut effacer des informations importantes.

L’objectif de ce stage sera d’étudier des méthodes permettant de combiner ces deux propriétés : une représentation compacte, mais suffisamment informative pour préserver les détails locaux. Le travail portera en particulier sur la construction et la projection des représentations internes transmises au décodeur LLM. Plusieurs stratégies pourront être explorées. Par exemple, nous pourrons construire de nouveaux mécanismes d’agrégation des représentations internes du réseau, afin de se diriger vers un traitement neuronal du signal à plusieurs échelles.

Les approches développées seront évaluées sur des tâches de compréhension de la parole, comme le résumé et le Dialog State Tracking. L’évaluation portera sur les performances (qualité, latence), mais aussi sur des analyses plus fines de la transmission de l’information au sein du modèle.

Stage de find’études (M2 école d’ingénieur ou université), spécialisation IA/ML/traitement de la parole.

Vos hard skills :

• Connaissances poussées en apprentissage profond (architectures, algorithmes et méthodes.
• Excellente maîtrise de Python (NumPy, pandas) et de PyTorch.
• Connaissance des librairies Hugging Face Transformers.
• Environnement de développement : Git, Linux, Docker, Slurm.
• Une première expérience en parole ou en lien avec le sujet du stage est un plus.

Vos soft skills :

• Vous êtes rigoureux.se et attentif.ve aux détails.
• Vous êtes curieux.se, aimez comprendre les mécanismes et tester vos hypothèses.
• Vous êtes autonome et respectez les délais.
• Vous savez collaborer avec d’autres et demandez de l’aide quand nécessaire.
• Vous communiquez simplement vos résultats : rédaction et diffusion scientifique de base: structuration de résultats, figures/tables claires (LaTeX apprécié)
• Vous documentez vos travaux de manière claire.

Un sujet de recherche appliquée à fort apprentissage, au cœur de la R&D IA d’Orange, avec accès à des ressources de calcul (CPU/GPU).
• Un encadrement scientifique: mentorat dédié, relectures méthodologiques et séminaires internes.
• Un cadre de travail bienveillant avec un accès à un écosystème d’experts Data/IA.

Vos travaux pourront être valorisés par des séminaires internes, un rapport technique structuré, un package de reproductibilité (code, scripts, documentation) et, selon la maturité des résultats, une contribution open source. Une soumission d’article scientifique (par exemple atelier/conférence spécialisée : Interspeech, ICASSP, ASRU/SLT) pourra être envisagée en co‑rédaction avec l’équipe.

Au sein de l'entité Data AI d’Orange Innovation, l’équipe MAS rassembleenviron 25 chercheurs, ingénieurs, développeurs, data scientists, doctorants et apprentis spécialisés.

L'équipe mène des travaux de R&D sur les technologies de la parole au sens large : reconnaissance automatique de la parole (ASR) multilingue, diarisation, synthèse vocale (TTS), évaluation et optimisation des modèles.

Nous ancrons nos recherches dans la méthode scientifique : revue de littérature, formulation d’hypothèses, protocoles expérimentaux robustes, analyse statistique et reproductibilité. Nos résultats sont partagés via des rapports techniques, des séminaires internes, des contributions open source et, lorsque pertinent, des soumissions à des ateliers/conférences internationales spécialisées.

Desired start date : Feb 01, 2027, 12:00AM

At Orange, only your skills matter.

Regardless of your age, gender, background, origin, religion, sexual orientation, disability, neurodiversity, or appearance, we actively encourage diversity within our teams, as it is a collective strength and a driver of innovation.
Orange is a disability-inclusive employer: please feel free to let us know about any specific needs you may have.