LIG 700 Avenue centrale 38400 Saint Martin d'Hères
Présentation de la structure
L'Université de Grenoble Alpes (UGA) propose un poste d’ingénieur de recherche pour participer aux projets PARTAGES sur les LLMs médicaux.
Vous serez accueilli au sein des équipes GETALP et MRIM du laboratoire LIG (https://lig-getalp.imag.fr/), qui offre un environnement dynamique, international et stimulant pour mener des recherches multidisciplinaires de haut niveau. Vous aurez accès à de grands ensembles de données, à des serveurs GPU, à des moyens pour les missions ainsi qu'aux activités scientifiques des laboratoires.
L'équipe est hébergée dans un bâtiment moderne (IMAG) situé dans un campus paysager de 175 hectares qui a été classé huitième plus beau campus d'Europe par le magazine Times Higher Education en 2018.Le projet PARTAGES vise à la mise en place de grands modèles de langue adaptables et souverains pour le domaine médical français pour transformer la gestion des données de santé tout en préservant leur confidentialité. Le projet, financé par BPI France à hauteur de 10 millions d'euros, réunit 32 partenaires dans les domaines de la santé et du traitement automatique du langage naturel. Le projet concevra également des bancs d’essais permettant d'évaluer la capacité de généralisation de ce type de modèles.
L'objectif du projet PARTAGES est de produire des LLMs adaptés au domaine médical en Français en utilisant des techniques de fine-tuning supervisés ou en poursuivant le pré-apprentissage. Cependant, le fine-tuning peut spécialiser à outrance les représentations pour une tâche, réduisant la généralisation en distordant les représentations apprises (Kumar et al., 2022). De plus, la poursuite du pré-apprentissage peut provoquer un 'catastrophic forgetting'. L'objectif est donc de développer des techniques d'apprentissage pour atténuer ces problèmes de spécialisation et d'oubli.
En lien avec cet objectif de spécialisation, il est également important d'évaluer si les LLMs peuvent s'adapter efficacement aux domaines de spécialité de médecine, l'adaptation Low-Rank (Hu et al., 2021) semble se révéler moins efficace que le fine-tuning complet, car elle ne parvient pas à intégrer les phénomènes spécifiques au domaine avec les paramètres limités disponibles (Eschbach-Dymanus et al., 2024). Il conviendra donc de trouver des méthodes permettant la spécialisation au domaine toute en gardant des capacités de généralisation telles que celles reposant sur la fusion de modèles (Wortsman et al., 2022).
Missions principales
Vous contribuerez à la gestion quotidienne du projet de recherche, sous la supervision de Lorraine Goeuriot, Didier Schwab et François Portet. Des réunions régulières auront lieu toutes les deux semaines.
Activités principales
Organiser et pré-traiter de grand corpus de données pour l'apprentissage et l'évaluation, en incluant la selection et la labellisation de jeux de données d'instruction.
Adapter des LLMs en utilisant les protocoles définis et les jeux de données préparés.
Définir et appliquer des protocoles d'expérimentation sur des supercalculateurs locaux et nationaux.
Analyser les résultats et contribuer à l'amélioration continue des approches développées.
Préparer des articles à soumettre à des conférences et à des revues évaluées par des pairs.
Communiquer les modèles appris aux partenaires des projets et sur les grandes plateformes internationales (p.ex. Zenodo, Huggingface)
Organiser des réunions d'avancement et assurer la liaison entre les membres de l'équipe.
Participer à la rédaction des livrables de projet.
Vous interagirez avec les autres post-docs, doctorats, stagiaires et les chercheurs faisant partie du projet PARTAGES. En fonction de votre parcours, de vos intérêts propres et de l'objectif du projet, vous aurez la possibilité d'orienter la recherche dans différentes directions.
Compétences attendues
Bonne connaissance du traitement du langage naturel
Expérience dans la collecte/le formatage et la manipulation de corpus
De bonnes compétences en programmation en Python
La volonté de travailler au sein d'équipes multidisciplinaires et internationales
De bonnes compétences en communication
Une bonne maîtrise du français est requise
Vous devez être titulaire d'un master en traitement du langage naturel ou en informatique, ou en cours d'obtention.
Conditions de diplômes
Bac + 5
Rémunération
A partir de 2289€ mensuel brut et en fonction de l’expérience. Vous percevrez en plus de votre salaire un régime indemnitaire d'un montant mensuel brut de 716 €.
Les candidatures seront examinées au fil de l’eau. Elles doivent être déposées sur le site emploi de l'UGA et également être adressées à François Portet (Francois.Portet@imag.fr), Didier Schwab (Didier.Schwab@imag.fr) et Lorraine Goeuriot (Lorraine.Goeuriot@univ-grenoble-alpes.fr). Il est donc conseillé de postuler le plus tôt possible. Le dossier de candidature doit contenir :
* Curriculum vitae
* Références pour d'éventuelles lettres de recommandation
* Motivation (d'environ une page) du positionnement de recherche et de l'intérêt pour le poste
Partager le lienCopierCopiéFermer la fenêtre modalePartager l'URL de cette pageJe recommande cette page :Consultable à cette adresse :La page sera alors accessible depuis votre menu "Mes favoris".Arrêter la vidéoJouer la vidéoCouper le sonJouer le sonChat : Une question ?Chatbot Robo FabricaStatistiques de fréquentation MatomoX (anciennement Twitter)
Site emploiBienvenue
