CheckThat!Lab 2024, une compétition sur l'évaluation de l'accès à l'information multilingue

Il s'agissait d'une tâche de classification binaire dans laquelle les systèmes devaient distinguer si une phrase d'un article de presse exprimait le point de vue subjectif de l'auteur ou présentait plutôt un point de vue objectif sur le sujet traité. La tâche était proposée en cinq langues (arabe, bulgare, anglais, allemand et italien) ainsi que multilingue.

L'équipe de Paul Égré, composée de partenaires de l'IRISA Rennes, de Mondeca, d'Airbus Defence and Space et du LIP6 avec la participation de Benjamin Icard, s'est classée première en utilisant l'anglais, sur 15 équipes concurrentes. " Dans d'autres langues, explique le scientifique, les résultats ont été plus mitigés, probablement en raison de l'étape de traduction, mais l'anglais était la cible principale de notre approche hybride, combinant des modèles de transformateurs avec des règles expertes issues du système VAGO que nous avons créé, nous sommes donc très satisfaits et visualisons de façon plus claire la prochaine étape."

L'approche intègre un modèle de base RoBERTa adapté à la tâche avec des scores de subjectivité et d'objectivité produits par le système expert et la base de données lexicale VAGO, développés à l'IJN par Paul Égré et Benjamin Icard en collaboration avec Mondeca depuis 2020, et connectés à des méthodes d'apprentissage profond avec leurs associés de l'IRISA et d'Airbus. Les résultats et les détails de la méthode seront présentés lors de la conférence CLEF à Grenoble en septembre 2024.


L'initiative CLEF 

L'initiative CLEF (Conference and Labs of the Evaluation Forum) encourage la recherche, l'innovation et le développement de systèmes d'accès à l'information en mettant l'accent sur l'information multilingue et multimodale à différents niveaux de structure. C'est dans ce cadre qu'aura lieu la 15ème conférence CLEF, une conférence indépendante évaluée par des pairs sur un large éventail de questions dans les domaines de l'évaluation de l'accès à l'information multilingue et multimodale, et un ensemble de laboratoires et d'ateliers conçus pour tester différents aspects des systèmes de recherche d'information monolingues et interlingues.

A propos du projet HYBRINFOX

Le projet HYBRINFOX a pour but de contribuer à la lutte contre la désinformation en ligne en étudiant et en développant plusieurs méthodes d'hybridation entre approches d’IA symboliques et deep learning pour la détection de fausses informations (fake news, ou infox). Il prend pour levier principal l’identification d’informations vagues, susceptibles d’introduire ou de favoriser des biais (de subjectivité, d’évaluativité). Ce projet est porté par Paul Egré.

Lire l'article "Appel à projets ASTRID : sélection du projet HYBRINFOX sur le traitement des fake news et du vague informationnel"

Publications :

• Benjamin Icard, Vincent Claveau, Ghislain Atemezing, Paul Égré (2023). Measuring vagueness and subjectivity in texts: from symbolic to neural VAGO. IEEE International Conference on Web Intelligence and Intelligent Agent Technology
   
• Géraud Faye, Benjamin Icard, Morgane Casanova, Julien Chanson, François Maine, François Bancilhon, Guillaume Gadek, Guillaume Gravier, Paul Égré (2024). Exposing propaganda: an analysis of stylistic cues comparing human annotations and machine classification. EACL 2024

Crédit illustration : Image de pikisuperstar sur Freepik