Notas de Interés

Un Bot generador de imágenes pornográficas falsas está siendo utilizado para abusar de miles de mujeres

Oct 21, 2020 Angel Ruiz

Una herramienta de inteligencia artificial que “elimina” prendas de vestir de las fotos se ha dirigido a más de 100,000 mujeres, algunas de las cuales parecen tener menos de 18 años.

Los deepfakes pornográficos se están convirtiendo en armas a una escala alarmante con al menos 104,000 mujeres atacadas por un bot que opera en la aplicación de mensajería Telegram desde julio. El bot es utilizado por miles de personas cada mes para crear imágenes desnudas de amigos y familiares, algunos de los cuales parecen ser menores de 18 años.

Las imágenes fijas de mujeres desnudas son generadas por una IA que “quita” prendas de ropa de una foto sin desnudos. Todos los días, el bot envía una galería de nuevas imágenes a un canal de Telegram asociado que tiene casi 25,000 suscriptores. Los conjuntos de imágenes se ven con frecuencia más de 3000 veces. Un canal de Telegram separado que promueve el bot tiene más de 50,000 suscriptores.

Algunas de las imágenes producidas por el bot tienen fallas, pero muchas podrían pasar por genuinas. “Es quizás la primera vez que los vemos a una escala masiva”, dice Giorgio Patrini, director ejecutivo y científico jefe de la empresa de detección de deepfake Sensity, que realizó la investigación. La compañía está publicando sus hallazgos en un intento por presionar a los servicios que alojan el contenido para que lo eliminen, pero no nombra públicamente los canales de Telegram involucrados.

El número real de mujeres a las que apunta el bot deepfake probablemente sea mucho mayor que 104,000. Sensity solo pudo contar las imágenes compartidas públicamente y el bot brinda a las personas la opción de generar fotos de forma privada. “La mayor parte del interés por el ataque está en los particulares”, dice Patrini. “La gran mayoría de ellos son para personas que ni siquiera podemos reconocer”.

Como resultado, es probable que muy pocas de las mujeres que han sido atacadas sepan que las imágenes existen. El bot y varios canales de Telegram vinculados a él son principalmente en ruso, pero también ofrecen traducciones en inglés. En varios casos, las imágenes creadas parecen contener niñas menores de 18 años, agrega Sensity, diciendo que no tiene forma de verificar esto, pero ha informado a las fuerzas del orden público de su existencia.

A diferencia de otros videos deepfake explícitos no consensuales, que han acumulado millones de visitas en sitios web pornográficos, estas imágenes no requieren conocimientos técnicos para su creación. El proceso está automatizado y puede ser utilizado por cualquier persona; es tan simple como cargar una imagen en cualquier servicio de mensajería.

Las imágenes se crean automáticamente una vez que las personas cargan una imagen vestida de la víctima al bot de Telegram desde su teléfono o escritorio. El análisis de Sensity dice que la tecnología solo funciona con imágenes de mujeres. El bot es de uso gratuito, aunque limita a las personas a diez imágenes por día y se deben realizar pagos para eliminar las marcas de agua de las imágenes. Una versión premium cuesta alrededor de $ 8 por 112 imágenes, dice Sensity.

“Es una validación deprimente de todos los miedos que los que habíamos oído hablar de esta tecnología planteamos al principio”, dice Mary Anne Franks, profesora de derecho en la Universidad de Miami. Franks proporcionó algunos comentarios sobre la investigación de Sensity antes de su publicación, pero no participó en los hallazgos finales del informe. “Ahora tienes la realidad aún más aterradora de que no importa si nunca has posado para una foto desnudo o nunca has compartido ningún tipo de información íntima con alguien, todo lo que necesitan es una foto de tu cara”.

Se cree que el bot de Telegram funciona con una versión del software DeepNude. Vice informó por primera vez sobre DeepNude en junio de 2019. El creador original eliminó la aplicación citando temores sobre cómo podría usarse, pero no antes de que alcanzara las 95,000 descargas en solo unos pocos días.

El código fue rápidamente copiado y respaldado. El software DeepNude utiliza el aprendizaje profundo y las redes generativas de confrontación para generar cómo cree que son los cuerpos de las víctimas. La IA está entrenada en un conjunto de imágenes de mujeres vestidas y desnudas y es capaz de sintetizar partes del cuerpo en imágenes finales.

“Esto es ahora algo que una comunidad ha integrado en una aplicación de plataforma de mensajería y, por lo tanto, han impulsado la usabilidad y la facilidad para acceder a este tipo de tecnología”, dice Patrini. El bot de Telegram funciona con servidores externos, dice Sensity, lo que significa que reduce la barrera de entrada. “En cierto modo, es literalmente deepfakes como servicio”.

Telegram no respondió preguntas sobre el bot y las imágenes abusivas que produce. El informe de Sensity también dice que la compañía no respondió cuando informó sobre el bot y los canales hace varios meses. La empresa tiene un conjunto limitado de condiciones de servicio. Uno de sus tres puntos dice que las personas no deben “publicar contenido pornográfico ilegal en canales de Telegram, bots, etc. visibles públicamente”.

En un conjunto ampliado de preguntas frecuentes, Telegram dice que procesa solicitudes para eliminar “contenido público ilegal”. Agrega que los chats de Telegram y los chats grupales son privados y la empresa no procesa solicitudes relacionadas con ellos, sin embargo, los canales y bots están disponibles públicamente. Una sección sobre eliminaciones dice “podemos eliminar los robots pornográficos”.

Antes de la publicación de este artículo, el canal de Telegram que publicaba galerías diarias de imágenes deepfake generadas por bots vio todos los mensajes que contenía. No está claro quién los eliminó.

Para este tipo de actividad suele haber algunos datos sobre quién ha utilizado el bot y sus intenciones. Dentro de los canales de Telegram vinculados al bot hay una “política de privacidad” detallada y las personas que utilizan el servicio han respondido encuestas de autoselección sobre su comportamiento.

Una encuesta anónima publicada en el canal Telegram en julio de 2019 fue respondida por más de 7.200 personas, de las cuales el 70 por ciento dijeron que eran de “Rusia, Ucrania, Bielorrusia, Kazajstán y toda la ex URSS”. Todas las demás regiones del mundo tenían menos del seis por ciento de la participación en las encuestas cada una. Las personas que usan el bot también informaron haberlo encontrado en la red social rusa VK. El informe de Sensity dice que ha encontrado una gran cantidad de contenido deepfake en la red social y el bot también tiene una página dedicada en el sitio. Un portavoz de VK dice que “no tolera tal comportamiento en la plataforma” y ha “bloqueado permanentemente esta comunidad”.

Una encuesta separada de julio de 2019 respondida por 3.300 personas reveló las motivaciones de las personas para usar el bot. Hizo la pregunta: “¿A quién te interesa desvestir en primer lugar?” La abrumadora mayoría de los encuestados, el 63 por ciento, seleccionó la opción: “Chicas conocidas, a quienes conozco en la vida real”. Celebridades y “estrellas” fue la segunda categoría más seleccionada (16 por ciento), “modelos y bellezas de Instagram” fue la tercera opción más seleccionada con un ocho por ciento.

Los expertos temen que este tipo de imágenes se utilicen para humillar y chantajear a las mujeres. Pero como la tecnología deepfake se ha escalado rápidamente, la ley no ha podido mantenerse al día y se ha centrado principalmente en el impacto político futuro de la tecnología.

Desde que se inventaron los deepfakes a finales de 2017, se han utilizado principalmente para abusar de las mujeres. El crecimiento durante el último año ha sido exponencial ya que la tecnología necesaria para fabricarlos se vuelve más barata y fácil de usar. En julio de 2019 había 14,678 videos deepfake en línea, según una investigación anterior de Sensity. En junio de este año, el número ascendió a 49 081. Casi todos estos videos eran de naturaleza pornográfica y estaban dirigidos a mujeres.

En agosto, WIRED informó sobre cómo los videos porno deepfake se habían vuelto populares. Cada mes se subían más de 1.000 videos abusivos a los sitios web de pornografía más grandes del mundo. Un video de 30 segundos que usa el rostro de la actriz Emma Watson y está alojado en XVideos y Xnxx, ambos propiedad de la misma compañía, ha sido visto más de 30 millones de veces. La compañía no respondió a las solicitudes de comentarios en ese momento, mientras que xHamster eliminó decenas de videos deepfake con millones de visitas desde su sitio después de que WIRED destacó los videos.

El avance de las imágenes generadas por robots empuja el abuso de deepfake a un nuevo territorio peligroso. El bot de Telegram no es el único ejemplo del sistema DeepNude subyacente que se utiliza en la naturaleza. La tienda Google Play tiene aplicaciones que pixelan áreas de fotos que hacen que los sujetos parezcan que no están usando ropa o dicen que usan rayos X para ver a través de la ropa de las personas. Otros sitios web cobran a las personas por el acceso a la tecnología deepfake; uno incluso ofrece un servicio de suscripción de $ 20 por mes.

Sensity cree que la persona detrás del bot de Telegram probablemente tenga su sede en Rusia. Cuando se le envió un mensaje sobre el bot, el creador restó importancia al impacto que estaba teniendo la tecnología. “Todo está disponible gratuitamente, si decides usar la aplicación de entretenimiento con fines egoístas, entonces eres responsable de esto, debes dar cuenta de tus acciones”, afirmó el creador anónimo. La política de privacidad del bot afirma que las imágenes producidas con él son “una parodia falsa que no debe confundirse con una [sic] real o relacionada con ninguna persona” y que las imágenes se producen “con el propósito de divertir”.

Varias versiones del código DeepNude están disponibles públicamente en la plataforma de software propiedad de Microsoft GitHub. En el momento de escribir este artículo, dos de los conjuntos de códigos de DeepNude se habían actualizado durante la última semana. Los documentos dicen que las personas con mentalidad técnica pueden utilizar el código sin marcas de agua y ofrecen demostraciones de la mejor manera de operar el sistema.

Las versiones de código abierto del código DeepNude en GitHub existen a pesar de que la organización las eliminó previamente. Después de que la aplicación DeepNude apareció por primera vez en julio de 2019, GitHub dijo que violó su “política de uso aceptable” y eliminó algunos de los archivos. Cuando se le preguntó sobre los archivos de DeepNude que aún se encuentran en su plataforma, un portavoz de GitHub dice que no modera el contenido subido por el usuario a menos que reciba quejas. “No toleramos el uso de GitHub para publicar contenido sexualmente obsceno y prohibimos tal conducta en nuestros Términos de servicio y Políticas de uso aceptable”, dice un portavoz de la empresa. En el momento de redactar este documento, todas las versiones del código fuente abierto todavía estaban accesibles en el sitio.

La mera existencia de esta tecnología y la falta de acción para detener su propagación por parte de las empresas de tecnología podría causar daños a largo plazo para las mujeres y las niñas, dice Franks. “Definitivamente inhibirá lo que va a decir, lo que está dispuesto a hacer, los riesgos que puede tomar, los tipos de trabajos que va a solicitar. Todas estas son formas en las que estamos imponiendo un efecto silenciador sobre las mujeres y las niñas “.

 

Fuente: Wired.