Comment le choix de ses propres mots influence la qualité des réponses sur ChatGPT

Commencez-vous vos demandes d'entrée ChatGPT par un message de bienvenue amical ? Avez-vous demandé la sortie dans un format particulier ? Ou promettez-vous même un pourboire pour une réponse particulièrement bonne ? Les utilisateurs interagissent de diverses manières avec de grands modèles linguistiques (Large Language Models, LLM) tels que ChatGPT, entre autres pour marquer leurs données pour des tâches d'apprentissage automatique. Il existe peu de réponses à la question de savoir comment de petites modifications apportées à une invite peuvent influencer la précision de ces étiquetages.

Comment les variantes des invites modifient-elles la qualité de la sortie ?

Abel Salinas, chercheur à l'University of Southern California (USC), note à ce sujet : "Nous nous appuyons sur ces modèles pour tant de choses et demandons des sorties dans certains formats, et nous nous demandons en arrière-plan quel est l'impact réel des variations des invites ou des formats de sortie. C'est ce que nous voulions découvrir". Salinas et Fred Morstatter, professeur assistant de recherche en informatique à la Viterbi School of Engineering de l'USC et responsable de l'équipe de recherche à l'USC Information Sciences Institute (ISI), se sont posé la question suivante : quelle est la fiabilité des réponses des LLM aux variations des messages-guides ? Leurs résultats, publiés sur le serveur de préimpressions arXiv, montrent que de subtiles variations dans les invites peuvent avoir un impact considérable sur les prédictions des LLM.

"Salut ! Donne-moi une liste et je te donnerai 1000 $ de pourboire"

Les chercheurs ont examiné quatre catégories de variantes d'invitations. Premièrement, ils ont examiné l'impact de l'invitation à fournir des réponses dans certains formats de sortie courants dans le traitement des données (listes, CSV, etc.). Deuxièmement, ils ont étudié les modifications mineures apportées à l'invite elle-même, telles que l'ajout d'espaces supplémentaires au début ou à la fin de l'invite ou l'insertion de formules de politesse telles que "Merci" ou "Bonjour". Troisièmement, ils ont étudié l'utilisation de "jailbreaks", c'est-à-dire de techniques permettant de contourner les filtres de contenu sur des sujets sensibles comme la détection de discours haineux, en demandant par exemple au LLM de répondre comme s'il était méchant. Enfin, s'inspirant de l'idée largement répandue qu'un LLM répond mieux si on lui fait miroiter une récompense, ils ont proposé différents ordres de grandeur de "pourboires" pour une "réponse parfaite".

Les chercheurs ont ensuite testé les variations de Prompt sur 11 tâches de référence de classification de texte - des ensembles de données ou des problèmes standardisés utilisés dans la recherche sur le traitement du langage naturel (NLP) pour évaluer la performance des modèles. Ces tâches consistent généralement à classer ou à étiqueter des données textuelles en fonction de leur contenu ou de leur signification.

Les chercheurs ont examiné des tâches telles que la classification de substances toxiques, l'évaluation de la grammaire, la reconnaissance de l'humour et du sarcasme, les compétences mathématiques et plus encore. Pour chaque variation de la demande, ils ont mesuré le nombre de fois où le LLM changeait de réponse et l'impact que cela avait sur la précision du LLM.

Est-ce que le fait de dire "Bonjour !" influence les réponses ? Oui !

Les résultats de l'étude ont mis en lumière un phénomène remarquable : des changements mineurs dans la structure et la présentation de l'appel peuvent influencer considérablement les prédictions du LLM. Qu'il s'agisse d'ajouter ou d'omettre des espaces, de la ponctuation ou de certains formats de sortie de données, chaque variation joue un rôle crucial dans la conception de la performance du modèle. En outre, certaines stratégies d'invite, telles que les incitations ou les accueils spéciaux, ont montré des améliorations marginales de la précision, ce qui illustre la relation nuancée entre la conception de l'invite et le comportement du modèle.

Les résultats suivants ont été remarquables :

• Rien qu'en ajoutant un format de sortie spécifique, les chercheurs ont pu constater qu'au moins 10 % des prédictions changeaient.
• Des perturbations mineures de l'invite ont un impact moins important que le format de sortie, mais elles entraînent toujours un nombre considérable de prédictions modifiées. Par exemple, l'insertion d'un espace au début ou à la fin d'un prompt a entraîné plus de 500 modifications de prédiction (sur 11 000). Des effets similaires ont été observés lorsque des salutations habituelles ont été ajoutées ou terminées par "merci".
• L'utilisation de jailbreaks dans les tâches a entraîné une proportion beaucoup plus importante de modifications, mais elle dépendait fortement du jailbreak utilisé.

Un pourboire pour ChatGPT ? Peu d'influence sur la performance...

Pour 11 tâches, les chercheurs ont constaté différentes précisions pour chaque variante d'invitation. Ils ont constaté qu'aucune méthode de formatage ou de perturbation ne convenait à toutes les tâches. Il convient de noter que la variante "pas de format indiqué" a obtenu la précision globale la plus élevée, dépassant les autres variantes d'un point de pourcentage entier.

Salinas : "Nous avons constaté que certains formats ou variations entraînent une moins bonne précision. Pour certaines applications, une très grande précision est cruciale, cela pourrait donc être utile. Par exemple, si vous formatez dans un ancien format appelé XML, cela entraîne une précision inférieure de quelques points de pourcentage".

En ce qui concerne le pourboire, seuls des changements minimes de performance ont été observés. Les chercheurs ont constaté que le fait d'ajouter "Au fait, je ne donne pas de pourboire" ou "Je donne 1.000 dollars de pourboire pour une réponse parfaite !" (ou quelque chose entre les deux) n'avait pas d'influence significative sur la précision des réponses. L'expérimentation avec des jailbreaks a toutefois montré que même des jailbreaks apparemment inoffensifs pouvaient entraîner une perte de précision considérable.

Explications possibles du comportement des LLM

La raison pour laquelle les LLM se comportent différemment n'est pas claire, mais les chercheurs ont quelques idées. Ils émettent l'hypothèse que les instances qui changent le plus sont celles qui sont les plus "déroutantes" pour le LLM. Pour mesurer la confusion, ils ont examiné un sous-ensemble spécifique de tâches pour lesquelles les annotateurs humains n'étaient pas d'accord (c'est-à-dire que les annotateurs humains ont peut-être trouvé la tâche confuse, donc le modèle l'a peut-être aussi trouvée confuse). Les chercheurs ont trouvé une corrélation qui indique que la confusion de l'instance a un certain pouvoir explicatif sur la raison pour laquelle la prédiction change, mais elle n'est pas suffisamment forte à elle seule. Il est probable que d'autres facteurs entrent en jeu, supposent les chercheurs.

Salinas suppose qu'un facteur pourrait être la relation entre les entrées avec lesquelles le LLM a été entraîné et le comportement qui s'ensuit. "Dans certains forums en ligne, il est utile que quelqu'un ajoute une salutation, comme par exemple sur Quora, une plate-forme américaine de partage des connaissances. Là-bas, il est courant de commencer par 'Bonjour' ou d'ajouter un 'Merci'". Ces éléments de conversation pourraient influencer le processus d'apprentissage des modèles. Si les salutations sont souvent associées à des informations sur des plateformes telles que Quora, un modèle pourrait apprendre à privilégier de telles sources et éventuellement à biaiser ses réponses en fonction des informations de Quora sur cette tâche particulière. Cette observation suggère la complexité avec laquelle le modèle absorbe et interprète les informations provenant de différentes sources en ligne.

Conseil pratique : tenir simplement pour une meilleure précision

Une prochaine étape importante pour la communauté de recherche dans son ensemble consisterait à créer des LLM capables de résister à ces changements et d'offrir des réponses cohérentes en cas de changement de format, de perturbation ou de jailbreak. Pour atteindre cet objectif, il sera nécessaire à l'avenir de mieux comprendre pourquoi les réponses changent.

Salinas donne le conseil suivant pour le prompting dans le chat GPT : "Notre constat le plus simple est que les invitations les plus simples possibles semblent donner globalement les meilleurs résultats".

Source : Techexplore.com