Le rapport sur la santé de RFK Jr. montre comment l’IA glisse de fausses études dans la recherche

Les auteurs du rapport Make America Healthy Again publié par le secrétaire à la Santé et aux Services sociaux, Robert F. Kennedy Jr., l'ont présenté comme une évaluation historique fournissant une base scientifique commune pour façonner la politique de santé.

Mais cette base scientifique semblait comporter des erreurs générées par un coupable probable : l’intelligence artificielle générative.

Au moins sept des citations du rapport posaient problème, car NOTUS  signalé pour la première fois . Quatre contenaient des titres d’articles qui n’existent pas et trois décrivaient mal les conclusions des articles.

Interrogée sur le rapport, Karoline Leavitt, attachée de presse de la Maison Blanche  attribué les erreurs  à des problèmes de formatage qui n’annulent pas la substance du rapport. Lorsqu'on lui a demandé si l'IA avait été utilisée dans la production du rapport, Leavitt s'en est remis au ministère de la Santé et des Services sociaux.

Le rapport MAHA a depuis été mis à jour en ligne. (Voici le  version archivée .) PolitiFact a contacté le ministère de la Santé et des Services sociaux mais n'a pas reçu de réponse.

Les modèles d’IA sont entraînés à imiter le langage utilisé par les humains en prédisant un mot après l’autre dans une séquence. Bien que les chatbots IA comme ChatGPT réussissent souvent à produire un texte qui semble avoir été écrit par un humain, ils ne parviennent souvent pas à garantir que ce qu'ils disent est factuel.

Les fausses citations étaient formatées correctement et répertoriaient des revues réputées et incluaient des identifiants d'objets numériques ou DOI à consonance réaliste.

Mais le fait que plusieurs articles cités n’existent pas est une caractéristique des citations générées par l’IA qui reproduisent souvent la structure des références académiques sans lien avec des sources réelles, a déclaré Oren Etzioni, professeur émérite de l’Université de Washington et chercheur en IA.

PolitiFact s’est entretenu avec des chercheurs en intelligence artificielle et en neurosciences des signaux d’alarme liés à l’IA du rapport.

Les erreurs montrent les caractéristiques d’une hallucination de l’IA

Les chercheurs ont déclaré que la présence d’articles fabriqués est probablement le résultat d’hallucinations de l’IA ou de résultats qui peuvent sembler plausibles mais ne sont pas réels.

L’IA progresse rapidement mais reste sujette aux hallucinations. Lorsqu'ils sont invités à générer des références académiques, les modèles d'IA génératifs inventent souvent quelque chose s'ils ne trouvent aucune correspondance exacte, en particulier s'ils sont invités à soutenir un point spécifique, a déclaré Etzioni.

Steven Piantadosi, professeur de psychologie et de neurosciences à l'Université de Californie à Berkeley, qui dirige son laboratoire de calcul et de langage, a déclaré que les modèles d'IA n'ont aucun moyen de savoir ce qui est vrai ou ce qui compte comme preuve.

Tout ce qu'ils font, c'est correspondre à un modèle statistique dans le texte, a-t-il déclaré. Il est intéressant et important qu’ils puissent très bien le faire, mais les dépendances statistiques entre les personnages ne sont pas un sujet autour duquel vous devriez construire une politique publique.

Le Washington Post  signalé  que certaines citations incluaient oaicite dans leurs URL, ce qui  Utilisateurs de ChatGPT  ont signalé sous forme de texte qui apparaît sur leur sortie. (OpenAI possède ChatGPT.)

kristy scott

Résultats sur la consommation de drogues liées à la santé mentale des adolescents et autres liés à de fausses citations

Même dans les citations légitimes du rapport, certaines conclusions ont été déformées ou exagérées – une autre erreur courante dans les outils d’IA générative qui peuvent produire en toute confiance des résumés incorrects des recherches, a déclaré Etzioni.

La version mise à jour du rapport MAHA a remplacé les fausses citations par des sources qui étayaient ses conclusions et a révisé à certains endroits la façon dont elle présentait les conclusions précédemment liées aux fausses citations. (Voir notre  tableur .)

L’un des faux articles signalés par NOTUS était intitulé Changements dans la santé mentale et la consommation de substances chez les adolescents américains pendant la pandémie de COVID-19. La ligne qui le citait disait qu'environ 20 à 25 % des adolescents ont signalé des symptômes d'anxiété et 15 à 20 % ont signalé des symptômes dépressifs, les filles présentant des taux significativement plus élevés.

Un examen plus approfondi de la citation montre pourquoi elle n'est pas authentique : la recherche du titre ne donne pas un véritable article en cliquant sur le  DEUX liens  dans la citation mène à une page d'erreur indiquant DOI introuvable et en regardant le volume JAMA Pediatrics et le numéro de numéro référencé mène à un  article  avec un titre différent et des auteurs différents.

Le rapport MAHA mis à jour a remplacé la citation par un  Rapport 2024  de KFF qui a déclaré qu'en 2021 et 2022, 21 % des adolescents ont signalé des symptômes d'anxiété et 17 % ont signalé des symptômes de dépression.

Le rapport original citait deux articles inexistants dans une section sur la publicité directe auprès des consommateurs pour la consommation de médicaments contre le TDAH par les enfants et la consommation d'antidépresseurs par les adolescents. Le rapport indique que la publicité pour les antidépresseurs chez les adolescents montrait de vagues listes de symptômes qui chevauchaient les comportements typiques des adolescents et était liée à des demandes inappropriées d'antidépresseurs des parents.

La nouvelle version du rapport indique désormais que la publicité DTC est censée encourager une plus grande utilisation de médicaments psychotropes chez les adolescents, y compris les classes d'antipsychotiques et d'antidépresseurs anti-anxiété, citant désormais un  étude de 2006  qui utilisait des données de 1994 à 2001. Les auteurs pensaient que la publicité directe auprès des consommateurs jouait un rôle en encourageant une plus grande consommation de psychotropes.

Une autre conclusion du rapport MAHA sur les prescriptions de médicaments contre l'asthme indique qu'environ 25 à 40 % des cas légers sont surprescrits, citant un article inexistant. Le pneumologue pédiatrique, le Dr Harold J. Farber, qui figurait sur la liste des auteurs présumés de l’article, a déclaré à NOTUS qu’il s’agissait d’une généralisation excessive de ses recherches.

Le rapport mis à jour a supprimé ces chiffres. On y lit maintenant Il existe des preuves d'une prescription excessive de corticostéroïdes oraux pour les cas légers d'asthme.

L’incident du rapport MAHA met en évidence les risques liés à l’inclusion de contenu généré par l’IA dans les rapports officiels du gouvernement sans examen humain.

Si les outils d’IA étaient utilisés pour générer des citations pour un rapport fédéral qui soulèverait de sérieuses questions de responsabilité. Sans processus de divulgation ou de vérification clairs, les lecteurs n'ont aucun moyen de savoir si les informations sont fondées sur des preuves réelles, a déclaré Etzioni. En matière de santé publique, notamment celle des enfants et de la santé mentale, ces lacunes sont particulièrement préoccupantes.

Cette vérification des faits était à l'origine publié par PolitiFact qui fait partie de l'Institut Poynter. Voir les sources de cette vérification des faits ici .