L'ESSENTIEL EN 30 SECONDES
- Le classificateur OpenAI CSAM Image Classifier, conçu avec le NCMEC, attribue un score aux images selon des signes d'abus, y compris générés par IA ; il est gratuit via l'API pour les organisations approuvées.
- Selon OpenAI, lors des premiers tests, il a signalé 48 % d'images en moins tout en repérant autant d'images abusives.
- Les utilisateurs de ChatGPT qui tentent de sexualiser des enfants reçoivent un avertissement, sont orientés vers une aide spécialisée et perdent l'accès pendant 24 heures ; la récidive peut entraîner la suppression du compte.
OpenAI a présenté le 16 novembre plusieurs mesures de protection de l'enfance : un classificateur d'images qu'elle ouvre à d'autres organisations, de nouveaux avertissements et des suspensions temporaires dans ChatGPT, un guide pour les développeurs et des outils pour les enquêteurs.
Un classificateur pour les images inédites
La comparaison d'empreintes (hash) ne détecte que les fichiers déjà recensés dans des bases de contenus connus. Le nouveau classificateur, appelé OpenAI CSAM Image Classifier dans la documentation pour développeurs, recherche plutôt des signes visuels d'abus : il peut donc aussi repérer des images nouvelles ou modifiées, y compris celles générées par IA. Il produit un score qui aide les modérateurs humains à décider quelles images traiter en priorité. OpenAI l'a mis au point avec le National Center for Missing and Exploited Children (NCMEC), aux États-Unis. Selon OpenAI, lors des premiers tests, l'outil a signalé 48 % d'images en moins qu'auparavant tout en identifiant le même nombre d'images abusives, et les images signalées étaient environ deux fois plus susceptibles de contenir des abus. Ces chiffres viennent de l'entreprise et n'ont pas été vérifiés de façon indépendante.
L'accès est gratuit via l'API d'OpenAI, mais le modèle n'est ni téléchargeable librement ni ouvert à tous. Les organisations doivent déposer une demande, passer une vérification d'identité Persona et accepter les conditions. TechCrunch indique qu'OpenAI travaille avec la Tech Coalition et ROOST pour élargir l'accès.
Avertissements et pauses dans ChatGPT
ChatGPT bloquait déjà les demandes de tels contenus. Désormais, les utilisateurs qui tentent de sexualiser des enfants voient aussi un avertissement expliquant le préjudice et sont orientés vers des services spécialisés destinés à faire cesser ce comportement. Leur accès est suspendu pendant 24 heures. Business Standard précise que la conversation signalée est supprimée et que la récidive peut entraîner des restrictions plus longues, la fermeture du compte et un signalement aux forces de l'ordre. Les messages ont été rédigés avec Protect Children, la Lucy Faithfull Foundation et Joel Scanlan, de l'Université de Tasmanie, qui a évalué de manière indépendante un essai de messages dissuasifs.
Développeurs et enquêteurs
OpenAI publie aussi un guide pour aider les développeurs à prévenir, détecter et signaler ces contenus. Il recommande notamment des règles d'utilisation, des canaux de signalement et une inscription auprès du NCMEC ou d'une ligne d'alerte locale. Aux unités spécialisées dans la protection de l'enfance aux États-Unis, l'entreprise fournit des outils d'IA et des formations. Selon Business Standard, le premier outil aide les enquêteurs à examiner de longs historiques de conversation et des documents judiciaires, et à reconstituer des chronologies. OpenAI a également rejoint Lantern, le programme de partage de signaux de la Tech Coalition.
OpenAI fait par ailleurs face à plusieurs procès pour des préjudices présumés envers des utilisateurs, notamment des enfants.
