Ressources numériques en sciences humaines et sociales OpenEdition Nos plateformes OpenEdition Books OpenEdition Journals Hypothèses Calenda Bibliothèques OpenEdition Freemium Suivez-nous

Les grands modèles de langue dans les études aréales : une présentation de l’équipe LaCAS aux JEP TALN RECITAL 2024

Les grands modèles de langue (ou LLM, de l’anglais large language model) permettent d’analyser de grandes quantités de données textuelles issues de différentes langues. Ces outils se démocratisent et s’intègrent dans des chaines de traitements de plus en plus complexes, offrant une grande variété de cas d’usage, notamment dans le domaine de la recherche en sciences sociales.

L’évaluation de ces objets protéiformes que sont les LLM peut poser certains problèmes : les études de marché existantes sont largement anglo-centrées (aussi bien en matière de langue que de culture), et ne couvrent pas forcément l’ensemble des usages. La question de leur évaluation se pose en particulier pour le français et plus généralement pour des langues autres que l’anglais. Il s’agit donc de créer des études de marché spécifiques pour l’usage qu’en a LaCAS et le champ des études aréales.


À l’occasion de la dernière édition des JEP, organisée à Toulouse, un article de l’équipe LaCAS a été sélectionné pour être présenté

Organisées depuis les années 1970, les journées d’études sur la parole (JEP) portent sur le traitement automatique des langues. Elles se combinent à la Conférence sur le Traitement Automatique des Langues Naturelles (TALN) et la Rencontre des Étudiants Chercheurs en Informatique pour le TAL (RECITAL).


L’ARTICLE

Co-rédigé par Xinyi Shen (équipe LaCAS, Inalco), Damien Nouvel (ERTIM, Inalco) et Peter Stockinger (directeur scientifique du projet LaCAS, Inalco), cet article porte sur les applications de LLM pour le projet LaCAS et la recherche en sciences humaines et sociales.

En tant que plateforme centralisant l’ensemble des ressources produites dans le champ des études aréales, LaCAS a principalement deux usages des LLM : la génération de descriptions de ressources documentaires, et leur indexation. Plusieurs expériences ont été menées pour évaluer la pertinence des différents modèles qui permettent d’automatiser ces deux usages.

La première expérience a consisté à évaluer la pertinence des descriptions de termes générées par GPT-4

Pour cela, un prompt (directive donnée au modèle d’IA) a été élaboré afin de systématiser une trame (introduction, exemples, références scientifiques), un ton et une précision académique. Il a généré 41 descriptions portant sur des termes généraux (ex. anthropologie) ou spécifiques (ex. anthropologie – Madagascar). Ces descriptions ont été évaluées par 48 chercheurs, selon six critères : pertinence du contenu, pertinence lexicale, pertinence discursive, ressemblance humaine, précision/généralité, neutralité.

Exemple d'une description générée par GPT4

Exemple d’une description générée par GPT-4 (Shen et al. 2024)

Évaluées sur 5 points, elles ont obtenu une moyenne de 3,78. La plupart a été bien notée en matière de pertinence discursive et de ressemblance humaine, mais les évaluateurs ont souvent déploré des généralisations, des exemples ou sources bibliographiques peu pertinents et traduits de façon trop littérale. D’une description à l’autre, il y a peu de variation : d’une part, entre les points positifs et négatifs ; d’autre part, au niveau de la note, en fonction du type du terme (selon qu’il soit général ou spécifique).

Critère / CatégorieTous les conceptsConcepts spécifiquesConcepts généraux
Pertinence du contenu3.673.683.65
Pertinence lexicale3.713.863.58
Pertinence discursive4.024.133.92
Ressemblance humaine3.914.003.85
Précision / généralité3.373.413.35
Neutralité3.983.784.15
Tous3.783.813.75
Résultat d’évaluation de génération de textes (Shen et al. 2024)

Cette première expérience a soulevé une question majeure, celle du scepticisme du milieu de la recherche face à l’IA. Il a fallu en effet prévenir les biais des évaluateurs, certains pouvant être plus prompts à mal noter une description qu’ils savent générée par IA. La solution a été de préciser, dans le questionnaire, que l’une des descriptions proposées avait été générée par un humain, forçant ainsi le lecteur à être plus vigilant dans sa correction.

La deuxième expérience a porté sur la classification multi-labels des ressources documentaires

LaCAS utilise les LLM afin d’indexer des ressources documentaires (articles, entités, et autres données) de façon automatisée. Cette seconde expérience visait à comparer les différents modèles existants afin d’identifier celui qui serait le plus adapté aux tâches menées par l’équipe LaCAS.

Quatre modèles ont été testés : GPT4, Llama 3, Mistral et BERT. Tandis que les trois premiers répondent à un prompt, c’est-à-dire une consigne énoncée par un humain, le dernier nécessite d’être entraîné sur plusieurs exemples afin de comprendre la consigne et l’appliquer sur des données non traitées.

L’exercice a consisté à ranger plusieurs données textuelles dans dix classes (anthropologie, architecture, archéologie, etc.), la difficulté étant que la classification classique (une classe par donnée) n’est pas adaptée à la transdisciplinarité inhérente aux études aréales, et donc à l’usage qu’en a LaCAS. Il s’agit donc de travailler avec des multi-labels, soit des données textuelles appartenant à plusieurs classes.

Pour les modèles génératifs (GPT4, Llama 3 et Mistral), trois prompts ont été créés afin de déterminer la facilité avec laquelle ils exécutent la classification :

– Test 0 : On donne la consigne sans exemple

– Test 1 : On donne la consigne avec 1 exemple

– Test 2 : On donne la consigne avec 2 exemples

Premier constat : la classification fonctionne mieux pour certains termes que pour d’autres. Certains termes sont compris dès le test 0, et d’autres échouent, même à l’aide de deux exemples. La compréhension du terme varie également en fonction du modèle : le terme « études cinématographiques » n’a ainsi pas du tout été compris par Mistral, mais correctement classé par les autres. La performance d’un modèle de classification se mesure ensuite au nombre de classifications correctes et à leur pertinence. BERT et GPT4 sont les mieux notés, avec une moyenne autour de 0,71 (sur 1).

BERTGPT4
T0
GPT4
T1
GPT4
T2
LLAMA
T0
LLAMA
T1
LLAMA
T2
Mistral
T0
Mistral
T1
Mistral
T2
Anthropologie0.480.340.370.390.410.360.250.410.400.46
Architecture0.740.680.680.650.610.670.600.670.670.63
Archéologie0.570.470.480.520.350.410.380.350.350.35
Études cinématographiques0.850.910.870.910.340.360.390.050.000.05
Linguistique0.580.660.670.630.600.520.430.640.570.53
Littératures du monde0.770.810.820.830.540.670.450.610.640.68
Études indiennes (Indologie)0.720.760.790.790.310.450.470.400.470.42
Études japonaises0.840.890.890.880.660.760.660.800.710.74
Études mexicaines0.870.700.700.700.600.580.460.430.170.30
Études russes0.760.810.780.780.650.690.670.730.700.64
Moyenne pondérée0.710.700.710.710.510.550.470.520.480.49
Résultats des classifications (Shen et al. 2024)

Pour achever de départager l’efficacité de ces deux modèles, leurs résultats ont été comparés à ceux d’un humain. Il en résulte que BERT s’accorde le plus avec les choix faits manuellement par des humains.

Au terme de ces expériences, LaCAS a choisi toutefois de travailler avec GPT4. En effet, la plateforme LaCAS comporte actuellement environ 6983 catégories, un nombre trop élevé que BERT n’est pas capable de traiter.

L’inconvénient de GPT4 est qu’il ne peut pas traiter un prompt trop long ; il favorise le début et la fin de la consigne, et peut donc ne pas prendre en compte plusieurs classes. Pour pallier cet inconvénient, il suffit de séparer les 100 classes en quatre parties, et de poser la question quatre fois, en lui laissant la possibilité de constater si aucune catégorie ne correspond.

Afin d’automatiser au mieux ce processus, Xinyi Shen a élaboré manuellement 110 classes, qui conditionnent la pertinence des résultats de classification. Elle a choisi des termes très connus mais assez spécifiques pour permettre aux chercheurs de trouver rapidement ce qu’ils cherchent sans les noyer dans du bruit.

CONCLUSION

Cette étude de marché est cruciale pour LaCAS, car elle a permis de déterminer les outils les plus adaptés à des tâches très spécifiques au domaine des études aréales, en priorisant la description, la traduction et la classification de données complexes et multilingues. En identifiant les meilleurs modèles, LaCAS peut automatiser efficacement des tâches répétitives, traiter de grandes quantités de données, et améliorer la précision de ses recherches. Si ces outils d’IA ont leurs limites et nécessitent toujours in fine une vérification humaine, ils permettent cependant de focaliser une plus large partie des efforts humains sur des tâches plus complexes et spécialisées, parmi lesquelles l’éditorialisation et la valorisation des données de la recherche.

Consulter l’article :

OpenEdition vous propose de citer ce billet de la manière suivante :
Evane Grossemy (8 octobre 2024). Les grands modèles de langue dans les études aréales : une présentation de l’équipe LaCAS aux JEP TALN RECITAL 2024. LaCAS - Open Archive in Language and Area Studies. Consulté le 17 mai 2025 à l’adresse https://doi.org/10.58079/12flg


Vous aimerez aussi...

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

This site uses Akismet to reduce spam. Learn how your comment data is processed.