Augmentation de jeux de données de RI pour la recherche conversationnelle à initiative mixte - Actes de CORIA-TALN 2023

Sep 5, 2026

Télécharger par Rizky

Les systèmes de recherche conversationnelle reposent sur des initiatives mixtes, notamment des questions de clarification générées par le système. Leur évaluation à grande échelle sur la tâche finale de recherche d’informations exige des jeux de données contenant ces interactions, alors que les jeux disponibles se limitent généralement soit aux tâches ad-hoc traditionnelles, soit à la seule clarification de requête. La proposition présente une méthodologie de construction automatique de datasets conversationnels à grande échelle à partir de jeux ad-hoc, avec une évaluation approfondie de la qualité et de la pertinence des interactions produites pour chaque requête initiale.

LangueFrench

CatégorieGénéral

FormatPDF

Pages22

Temps de lecture8 min

AccèsTéléchargement gratuit

Table des matières

Introduction

Contexte des systèmes de recherche conversationnelle

Défis d’évaluation à grande échelle

Limites des jeux de données existants

Objectif: construire des datasets conversationnels à partir d’ad-hoc

Actes de CORIA-TALN 2023 Paris, France, 5 au 9 juin 2023 Augmentation de jeux de données de RI pour la recherche conversationnelle à initiative mixte Pierre Erbacher 1 Philippe Preux2 Jian-Yun Nie 3 Laure Soulier 1 (1) Sorbonne University, ISIR, Paris (2) INRIA Scool Team, Lille (3) Montreal University, Canada [pierre.erbacher@isir.upmc.fr](pierre.erbacher@isir.upmc.fr) RÉSUMÉ Une des particularités des systèmes de recherche conversationnelle est qu’ils impliquent des initiatives mixtes telles que des questions de clarification générées par le système. L’évaluation de ces systèmes à grande échelle sur la tâche finale de RI est très difficile et nécessite des jeux de données adéquats contenant de telles interactions. Cependant, les jeux de données actuels se concentrent uniquement sur les tâches traditionnelles de RI ad hoc ou sur les tâches de clarification de la requête. Pour combler cette lacune, nous proposons une méthodologie pour construire automatiquement des jeux de données de RI conversationnelle à grande échelle à partir de jeux de données de RI ad hoc afinde faciliter les explorations sur la RI conversationnelle. Nous effectuons une évaluation approfondie montrant la qualité et la pertinence des interactions générées pour chaque requête initiale. Cet article montre la faisabilité et l’utilité de l’augmentation des jeux de données de RI ad-hoc pour la RI conversationnelle. ABSTRACT Augmenting Ad-Hoc IR Dataset for Mixed-initiative Conversational Search A peculiarity of conversational search systems is that they involve mixed-initiatives such as systemgenerated query clarifying questions. Evaluating those systems at a large scale on the end task of IR is very challenging, requiring adequate datasets containing such interactions. However, current datasets only focus on either traditional ad-hoc IR tasks or query clarification tasks We propose a methodology to automatically build large-scale conversational IR datasets from ad-hoc IR datasets in order to facilitate explorations on conversational IR. We perform a thorough evaluation showing the quality and the relevance of the generated interactions for each initial query. This paper shows the feasibility and utility of augmenting ad-hoc IR datasets for conversational IR. MOTS-CLÉS : Recherche conversationnelle, recherche d’informations, interactions mixtes, méthodologie de construction d’ensembles de données.. KEYWORDS: Conversational search, information retrieval, mixed-initiative interactions, dataset building methodology. 1 Introduction Les systèmes conversationnels, y compris les assistants personnels et les chatbots, sont de plus en plus populaires pour une grande variété de tâches, notamment la recherche d’informations (RI) en ligne. Bien que des modèles de langue (ML) récents, comme ChatGPT d’OpenAI (Ouyang et al., 2022), aient démontré leur capacité à répondre à des questions factuelles, ceux-ci ne peuvent pas Actes de la 18e Conférence en Recherche d’Information et Applications (CORIA), pages 37–58 . Cette œuvre est mise à disposition sous licence Attribution 4 .0 International. être considérés comme des systèmes de recherche conversationnelle. En effet, ces derniers sontentraînes à générer le texte le plus probable sans faire explicitement référence aux sources et sans garantie de véracité, ce qui amplifie les biais potentiels et les fausses vérités observés dans les données d’apprentissage (Bender et al., 2021) . Pour surmonter cette limitation, les systèmes de recherche conversationnelle doivent s’appuyer sur des capacités de recherche d’informations pour localiser les sources/documents pertinents (Shah & Bender, 2022 ; Dalton et al., 2022 ; Zamani et al., 2022 ; Anand et al., 2020 ; Bender et al., 2021) . Pour améliorer la qualité des réponses, des modèles tels que LaMDA (Thoppilan et al., 2022), WebGPT (Glaese et al., 2022) ou Sparrow (Shuster et al., 2022) peuvent additionnellement conditionner la génération de réponses

FAQ

Pourquoi l’évaluation des systèmes de recherche conversationnelle est-elle difficile à grande échelle ?

Parce qu’elle nécessite des jeux de données incluant des interactions à initiative mixte, notamment des questions de clarification, que les ensembles actuels ne couvrent pas suffisamment pour l’ensemble de la tâche finale de recherche d’informations.

Quelles lacunes présentent les jeux de données actuels pour la recherche conversationnelle ?

Ils se concentrent soit sur des tâches de RI ad hoc traditionnelles, soit sur des tâches de clarification de requête, sans intégrer des interactions mixtes utilisateur-système à grande échelle avec des signaux de pertinence.

Comment la méthodologie proposée contribue-t-elle à construire des jeux de données conversationnels ?

Elle automatise la construction de jeux de données de RI conversationnelle à grande échelle à partir de jeux de données de RI ad hoc, afin de faciliter les explorations sur la recherche conversationnelle.

Sep 5, 2026

Télécharger par Rizky