WIRED révèle plus de 400 applis anodines cachant des outils de deepfakes abusifs

Une enquête publiée par WIRED décrit un réseau de plus de 400 applications et sites liés qui se présentaient comme des services ordinaires tout en dissimulant des outils de création de deepfakes sexuels et violents. Ces applis étaient diffusées à la fois sur l'App Store d'Apple et sur Google Play, selon les comptes rendus de 9to5Mac et d'AndroidPure.

Comment les applis échappaient aux contrôles

Les applications se vendaient comme des utilitaires banals (habiller des photos d'animaux, coach sportif à base d'IA, cours de langue) et affichaient par défaut ce contenu inoffensif. À l'installation, elles transmettaient semble-t-il à un serveur des informations comme la localisation, la langue et un identifiant d'appareil ; le serveur choisissait alors d'afficher l'appli anodine ou une interface permettant de générer des images et vidéos explicites à partir de photos importées. Paul Bouchaud, chercheur du groupe AI Forensics, qui a repéré l'opération début septembre, a établi qu'un des déclencheurs était l'installation après un clic sur une publicité liée aux deepfakes sur Facebook ou Instagram. Les modèles proposés comprenaient des scènes sexuelles et violentes, et les utilisateurs achetaient des crédits.

Les développeurs modifiaient après validation les sources de contenu des applis, un procédé classique d'appât et de substitution. Certaines fiches étaient en ligne depuis environ un an, et beaucoup affichaient sur Google Play une classification « tout public ». En septembre, 27 de ces applis étaient disponibles sur Google Play, cumulant plus de 350 000 téléchargements, rapporte AndroidPure. L'analyse des noms de domaine par WIRED pointe vers des développeurs basés en Chine ; un chercheur d'Infoblox a recensé près de 500 domaines liés.

La réaction des plateformes

Apple a retiré 19 applications après que WIRED lui a transmis ses éléments. L'entreprise affirme examiner chaque appli avant publication et estime que celles-ci respectaient ses règles au moment de leur examen ; elle dit avoir récemment renforcé ses protections et suspendu des dizaines de milliers d'applis pour ce type de manœuvre en un an. Google avait supprimé la plupart des fiches avant d'être contacté et n'a pas commenté. Meta, dont les plateformes ont diffusé des milliers de publicités vidéo pour ce réseau, indique avoir pris des mesures contre plus de 10 000 comptes publicitaires liés aux domaines concernés.

Questions en suspens

L'affaire montre les limites d'une vérification préalable quand le comportement d'une appli peut être modifié à distance après son approbation. Selon WIRED, des publicités et applis similaires continuaient d'apparaître à la fin de son enquête : les retraits ne suffiront peut-être pas à stopper l'opération. AI Forensics rappelle par ailleurs qu'une interdiction européenne des applis de déshabillage doit entrer en vigueur dans environ un mois.