Common Sense Media juge ChatGPT for Teens « à risque inacceptable » ; OpenAI conteste les tests

Deux mois après le lancement par OpenAI d'une version de ChatGPT destinée aux adolescents, une association américaine de protection de l'enfance estime qu'elle n'est pas sûre pour les mineurs. Le 7 octobre, le Youth AI Safety Institute de Common Sense Media a publié une évaluation classant ChatGPT for Teens comme présentant un « risque inacceptable » pour tous les moins de 18 ans. OpenAI rejette ces conclusions.

Ce qu'OpenAI avait promis

OpenAI a présenté ChatGPT for Teens le 18 août. Selon l'entreprise, les utilisateurs qui déclarent avoir entre 13 et 17 ans, ou que son système de prédiction d'âge estime mineurs, basculent automatiquement dans l'expérience adolescente. Les parents peuvent lier les comptes, fixer des heures de silence et recevoir des notifications dans un nombre limité de situations à haut risque, dont de nouvelles alertes liées aux troubles alimentaires. Un mode Étude doit guider l'adolescent dans la résolution des problèmes plutôt que de donner la réponse.

Ce qu'ont constaté les testeurs

D'après le compte rendu d'Engadget sur ce rapport de 36 pages, certaines protections fonctionnent : le robot refuse les jeux de rôle sexuels explicites et a parfois bien répondu à des questions sur les troubles alimentaires. D'autres résultats sont plus faibles :

• Alertes parentales : lors d'un test, une douzaine de comptes adolescents liés ont parlé de suicide, d'automutilation ou de troubles alimentaires pendant jusqu'à une heure sans qu'aucune alerte ne parvienne aux parents.
• Réponses de crise : sur 390 requêtes liées à la santé mentale, des pédopsychiatres en ont jugé 201 comme nécessitant une réponse de crise. La version adolescente a proposé une ligne d'écoute dans 23 % de ces cas, contre 33 % pour la version précédente, même si elle suggère plus souvent d'impliquer un adulte de confiance.
• Âge et ton : la prédiction d'âge ne fait pas basculer de façon fiable vers le mode adolescent, et le robot exprime encore des sentiments, ce que l'association juge risqué pour la dépendance affective.
• Mode Étude : les testeurs l'ont contourné en supprimant le préfixe « @study », et une option « Show me the answer » donnait directement les solutions.

L'association demande à OpenAI de réserver le produit aux adultes tant que ces problèmes ne sont pas corrigés.

La réponse d'OpenAI et les réserves

OpenAI a déclaré à l'AP que ces tests ne reflètent pas le fonctionnement réel de ses protections et qu'une grande partie a pu avoir lieu avant l'activation complète du contrôle parental. L'entreprise a indiqué que les notifications peuvent prendre quelques heures après la liaison des comptes, que les contenus signalés sont examinés par du personnel avant d'alerter les parents et qu'elle vise un délai d'une heure.

Deux éléments de contexte comptent. L'AP rappelle que Common Sense Media reçoit des financements d'OpenAI et d'autres entreprises technologiques qu'elle évalue. Et ces résultats proviennent du protocole d'une seule organisation, pas d'un audit indépendant. Le rapport s'ajoute néanmoins à l'examen croissant de la façon dont les robots conversationnels gèrent les jeunes en détresse.