Pourquoi ChatGpt (et les autres LLM) sont de merveilleux outils mais pas pour la veille scientifique (pour l'instant)!
Je ne parlerai pas dans ce post de l’impact écologique des LLM mais il entre aussi dans le choix de l’utilisation parcimonieuse des LLM ni du fait que le raisonnement clinique ne devrait pas être délégué.
Déjà c’est quoi?
Les LLM (Large Language Models) sont des modèles d’intelligence artificielle capables de comprendre et de générer du langage naturel (parmi eux, ChatGpt, Gemini...). Ils ont été créés pour aider à traiter de grandes quantités de texte, répondre à des questions, rédiger des contenus ou traduire automatiquement, en s’appuyant sur l’apprentissage à partir d’énormes corpus de données textuelles. L’objectif est de rendre les machines capables d’interagir de façon plus naturelle et utile avec les humains.Il se passe quoi sous le capot?
Il faut savoir avant tout comment fonctionnent les LLMs.Quelle que soit votre question, les LLM vous répondront toujours avec la confiance de votre vieil oncle chiant après deux verres de vin.
Il va faire une moyenne de toutes les informations concernant un sujet sans distinction de qualité de la source donc si une tonne de blogs et d’articles de revues féminines disent qu’il faut manger du choux pour faire parler plus tôt votre enfant, ChatGpt n’y verra pas de problème.
La plupart des articles scientifiques récents sont derrière des paywall, les LLM n’y ont pas accès. Ils prendront donc en compte les articles en libre accès ou les preprint (c'est-à-dire les articles qui n’ont pas encore été revus par les pairs) et ceux-ci seront autant pris en compte que les articles de magazine, de blog...
Le LLM va prendre les informations les plus proches de la requête. Si la question qu'on envoie à chatgpt est "est ce que le choux est bon pour les enfants", il va faire une moyenne des articles scientifiques sur le sujet avec des billets de blogs et des recommandations.
Mais si la requête est "combien de choux je dois donner par jour à mon enfant de 15 ans qui s'appelle Aurélien et fais 51kg" là, tu es presque sûr qu'ils va plutôt prendre les informations du billet de blog qui parle d'un enfant qui fait 51kg et pas les recommandations de bonnes pratiques concernant l’alimentation des adolescents.
Le LLM ne cherche pas la vérité mais la réponse la plus proche de celle que donnerait un humain qui pense connaître l’information.
Et si je lui demande ses sources?
ChatGpt va très souvent inventer des sources fictives avec aplomb en faisant un mix entre titre, auteur, Doi liés à d’autres articles voire inventer des revues!
Un exemple de source générée par ChatGpt:
Le LLM a cru que Dumas était l’auteur alors que c’est l'hébergeur bien connu des mémoires d’orthophonie!
Un autre exemple:
Le DOI ne correspond pas à l’article. En cherchant le titre et l’auteur, on ne trouve rien? Krakauer et al. (2020) existe mais il s’agit d’un article intitulé “Effect of irrigation on humid heat extremes.” écrit pour le site de la Nasa…
ChatGpt comme outil de lecture:
Puis-je donner un article à ChatGpt et lui demander de me le lire et le résumer?
Tout à fait, mais les erreurs d'interprétation et les hallucinations sont encore fréquentes donc il faudra être attentif et comparer avec l’article original. Donc au final, vous n’aurez pas gagné de temps. C'est con hein?
“25% des résumés générés par les LLM contenaient des hallucinations.”Falke et al.(2019) in Nayeon Lee Ziwei Ji et al. (2023)
ET toi, comment tu utilises ChatGpt?
Perso, au travail, je l’utilise pour reformuler des mails ou des messages. Générer des listes de phrases ou des textes avec contraintes…Des idées d’ouverture et de tests:
J’ai lu un article sur l’utilisation des LLM en Oncologie qui testait les propositions de traitement individualisés entre LLM et spécialistes. Les LLM atteignent rarement le standard attendu mais avaient des propositions complémentaires intéressantes selon les auteurs. Ils notaient également la forte instabilité des réponses dans les versions les plus récentes des LLM.Bref, tout ça pour dire qu’il serait intéressant de se pencher sur des études de cas fictionnelles en orthophonie. J’y mettrai un bémol tout de même en rappelant le cas de Jarrod (dans McLeod, 2006) cité dans l’excellent chapitre sur le raisonnement clinique de G. Duboisdindien et J. Cattini : “ Dans cette expérience, différents auteurs reconnus internationalement pour leur expertise ont été invités à défendre et à décrire leur propre raisonnement hypothético-déductif concernant l’intervention recommandée pour cet enfant. Les différentes interventions étaient toutes bien argumentées et justifiées au niveau théorique mais le raisonnement clinique était différent d’un auteur à l’autre.” Donc bon!
En dernier lieu, parce que c’est toujours sympa d’avoir une alerte mystérieuse en fin de post:
j’enjoins toutes mes collègues à être très prudentes quant aux données qu’elles confient aux LLM(je pense aux informations confidentielles concernant nos patients, le RGPD toussa toussa)
Perso, ca me piquerai que mon médecin entre des infos comme “écris moi un courrier pour cette patiente orthophoniste, insomniaque et névrosée qui habite à XX et qui a besoin d’une reco pour un bon psy à cause de son surmenage”... Mais je suis sûre que toutes mes collègues anonymisent les informations de leurs patients quand elles utilisent ChatGpt, hein!?
Conernant la confidentialité: les LLM européens respectent le RGPD et les il existent des LLM internes aux institutions qui respectent la confidentialité.