LO ESENCIAL EN 30 SEGUNDOS

  • WIRED informa de una red de más de 400 apps y dominios vinculados que parecían apps de fotos de mascotas, entrenamiento o idiomas, pero podían convertirse en herramientas para desnudar y crear deepfakes violentos.
  • Una comprobación en el servidor decidía qué versión veía cada usuario, lo que permitió superar la revisión de Apple y Google; uno de los desencadenantes era instalar la app tras pulsar un anuncio de Meta.
  • Apple retiró 19 apps tras la consulta de WIRED, Google ya había eliminado la mayoría de las fichas y Meta afirma haber actuado contra más de 10.000 cuentas publicitarias.

Una investigación publicada por WIRED describe una red de más de 400 apps y sitios web conectados que se presentaban como servicios corrientes mientras escondían herramientas para crear deepfakes sexuales y violentos. Las apps se distribuían tanto en la App Store de Apple como en Google Play, según los resúmenes publicados por 9to5Mac y AndroidPure.

Cómo esquivaban los controles

Las aplicaciones se anunciaban como utilidades cotidianas (vestir fotos de mascotas, entrenador personal con IA, clases de idiomas) y mostraban por defecto ese contenido inofensivo. Al instalarse, al parecer enviaban a un servidor datos como la ubicación, el idioma y un identificador del dispositivo, y el servidor decidía si mostrar la app inocua o una interfaz para generar imágenes y vídeos explícitos a partir de fotos subidas. Paul Bouchaud, investigador del grupo AI Forensics, que detectó la operación a principios de septiembre, descubrió que uno de los desencadenantes era instalar la app tras pulsar un anuncio relacionado con deepfakes en Facebook o Instagram. Las plantillas incluían escenas sexuales y violentas, y los usuarios compraban créditos para generar contenido.

Los desarrolladores cambiaban tras la aprobación las fuentes de contenido de las apps, una táctica clásica de cebo y cambio. Algunas fichas llevaban alrededor de un año publicadas y muchas tenían en Google Play una clasificación apta para todos los públicos. En septiembre, 27 de estas apps estaban disponibles en Google Play con más de 350.000 descargas en total, según AndroidPure. El análisis de dominios de WIRED apunta a desarrolladores con base en China; un investigador de Infoblox contó casi 500 dominios vinculados.

La respuesta de las plataformas

Apple retiró 19 apps después de que WIRED le enviara los detalles. La compañía asegura que revisa cada app antes de publicarla y que estas cumplían sus normas cuando las examinó; añade que ha reforzado recientemente sus protecciones y que en el último año suspendió decenas de miles de apps por este tipo de engaño. Google ya había eliminado la mayoría de las fichas antes de ser contactado y no hizo comentarios. Meta, en cuyas plataformas circularon miles de anuncios en vídeo de la red, afirma haber tomado medidas contra más de 10.000 cuentas publicitarias vinculadas a esos dominios.

Preguntas abiertas

El caso muestra los límites de la revisión previa cuando el comportamiento de una app puede modificarse a distancia después de aprobada. Según WIRED, seguían apareciendo anuncios y apps similares al cierre de su investigación, por lo que las retiradas quizá no frenen la operación. AI Forensics recuerda además que una prohibición europea de las apps para desnudar entrará en vigor en aproximadamente un mes.