Ressources numériques en sciences humaines et sociales OpenEdition Nos plateformes OpenEdition Books OpenEdition Journals Hypothèses Calenda Bibliothèques OpenEdition Freemium Suivez-nous

Moissonneur Okapi : méthodologies de moissonnage pour l’enrichissement de la plateforme LaCAS

Co-rédigé par Yaying LIU et Kexin ZHANG (équipe LaCAS)

Ce billet a pour but de présenter les différents processus de moissonnage mis en place pour alimenter la plateforme LaCAS à partir de données issues d’archives ouvertes et d’entrepôts de données, avec un focus particulier sur Zenodo. Nous commencerons par une brève présentation des données documentaires disponibles sur la plateforme. Ensuite, nous introduirons les méthodologies employées pour le moissonnage via HAL et Nakala, essentiels pour l’enrichissement des données de LaCAS. Enfin, nous explorerons plus en détail les différents aspects du moissonnage de Zenodo.

Présentation des données documentaires

L’interface data de la plateforme LaCAS, qui repose sur le CMS Okapi développé par l’INA, met à disposition une diversité de données visant à documenter la recherche en études aréales. Il existe différents types de données, qui se distinguent selon deux types de supports documentaires :

  • Supports édités : articles, publications, littérature grise, vidéos, images, documents sonores, représentations 3D, etc.
  • Supports « bruts » : données de terrain, telles que les captations sonores, visuelles et audiovisuelles, les notes de terrain, etc.

En octobre 2024, LaCAS data répertorie environ 150 000 données documentaires, mais ce chiffre évolue constamment grâce à l’action de moissonnage. Dans le cadre du projet LaCAS, le moissonnage désigne une opération visant à collecter des données ou des métadonnées à partir de différentes sources, en vue de les regrouper dans une structure commune et de les agréger à des fins d’analyse.

Les données sont produites par des chercheurs et des équipes de recherche en France ou à l’étranger, travaillant sur les langues et sociétés du monde. Ces données sont moissonnées sur différentes plateformes s’inscrivant dans le champ de la science ouverte, notamment :

  • L’archive ouverte HAL – Hyper Article en Ligne, portée par le Centre pour la communication scientifique directe (CCSD, UAR 3668, CNRS – INRAE – INRIA).
  • L’entrepôt de données Nakala, porté par l’infrastructure de recherche Huma-Num (UAR 3598, CNRS – Campus Condorcet – AMU).
  • L’entrepôt de données Zenodo, développé dans le cadre du projet européen OpenAIRE et porté par le Conseil européen pour la recherche nucléaire (CERN).

 

Le moissonnage automatique (HAL) et semi-automatique (Nakala) 

Le processus de moissonnage sur HAL se fait par « tamponnage », c’est-à-dire l’intégration des notices de documents dans une collection donnée. Une collection dédiée a été créée sur HAL pour le projet LaCAS : intitulée “AAI – Collection LaCAS – Open Archives in Language and Cultural Area Studies”, elle héberge toutes les notices pertinentes tamponnées dans l’ensemble de l’environnement HAL. Chaque nuit, les métadonnées de ces notices sont transférées automatiquement vers LaCAS data.

Figure 1 : Collection LaCAS sur HAL

 

Sur Nakala, le processus de moissonnage est différent. Une collection intitulée “LaCAS” y a également créée, mais les données pertinentes y sont ajoutées manuellement, une à une, après vérification de leur qualité éditoriale (contrairement à HAL, Nakala ne dispose pas encore de service de modération). Chaque nuit, un processus automatisé transfère ces données vers LaCAS data.

Figure 2 : Collection LaCAS sur Nakala

 

Le moissonnage de Zenodo

Méthodologie du processus de moissonnage

Zenodo suit un modèle de moissonnage basé sur l’identification des données cibles. La logique est de déterminer l’identifiant de chaque donnée, puis de se connecter directement à l’API de Zenodo pour interroger et obtenir chaque donnée.

Ensuite, le programme récupère les métadonnées de chaque donnée sur la plateforme Zenodo, transforme leur format, puis les télécharge sur la plateforme LaCAS. En raison de l’absence de la collection spécifique dans HAL et de la diversité des formats et des contenus disponibles sur Zenodo, l’identification des identifiants de données est effectuée manuellement, après une évaluation à différents niveaux. Bien que cela réduise l’automatisation du processus, ce workflow permet d’améliorer la pertinence et la qualité des données téléchargées.

Données collectées

Actuellement, environ 200 données provenant de Zenodo ont été moissonnées et importées sur la plateforme LaCAS. Il s’agit aussi bien de données textuelles que visuelles, filmiques et sonores. Les thématiques abordées incluent des sujets tels que les minorités LGBT, la migration humaine, le traitement automatique du langage (TAL), les bases de connaissances, et bien d’autres encore.

L’illustration ci-dessous montre le rendu d’une notice de fichier au format texte sur la plateforme. Grâce à l’URL source du fichier PDF, il est possible d’accéder directement à l’article pour le consulter. De plus, de nombreuses informations supplémentaires sont disponibles, comme l’auteur, les mots-clés, la description, et le DOI de l’article.

Figure 3 : Donnée textuelle de Zenodo sur LaCAS data

Dans le cadre du processus de moissonnage mis en place, davantage de données vont être extraites depuis Zenodo, afin d’enrichir continuellement les données disponibles sur la plateforme LaCAS, à partir d’une pluralité de thématiques.

 


OpenEdition vous propose de citer ce billet de la manière suivante :
Kexin Zhang (28 octobre 2024). Moissonneur Okapi : méthodologies de moissonnage pour l’enrichissement de la plateforme LaCAS. LaCAS - Open Archive in Language and Area Studies. Consulté le 16 novembre 2025 à l’adresse https://doi.org/10.58079/12l3x


Vous aimerez aussi...

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

This site uses Akismet to reduce spam. Learn how your comment data is processed.