La plataforma X de Musk integra función de edición Grok AI, desatando crisis de explotación sexual sin consentimiento

La plataforma X de Musk ha integrado recientemente la funcionalidad de edición de fotos con Grok AI, provocando múltiples casos de generación de contenido de explotación sexual sin consentimiento e imágenes explícitas de menores. Varios gobiernos han iniciado investigaciones y exigen que la plataforma implemente medidas de seguridad.

X lanza edición de imágenes con Grok AI, Cosplayers sufren explotación sexual

Con la creciente popularidad de las herramientas de IA generativa, la edición de fotos con un clic se ha vuelto mucho más fácil. Recientemente, la plataforma de redes sociales X de Musk integró la funcionalidad de generación de imágenes del chatbot Grok en las funciones de publicación de X. Los usuarios solo necesitan hacer clic en “Editar imagen” en la esquina inferior derecha de cualquier imagen en una publicación para invocar a Grok, editar la imagen y luego reubicarla como comentario o publicación.

Esta función generó mucha reacción desde su lanzamiento, incluida la capacidad de invocar a Grok en los comentarios para editar imágenes. Muchos usuarios expresaron preocupación sobre el posible abuso en explotación sexual o pornografía infantil, y como era de esperar, las cosas salieron exactamente como se temía.

El 2 de enero, la famosa Cosplayer austriaca keekihime (Cake Princess) reveló que un usuario había invocado sin autorización a Grok para editar una foto suya disfrazada de un personaje del videojuego móvil Arknights. La solicitud de edición incluía instrucciones como “ponerse ropa interior” y “ropa transparente”. Dado que Grok muestra la imagen editada directamente en los comentarios de la publicación original, keekihime quedó muy molesta y criticó duramente:

“Grok parece haberse convertido en una especie de generador de pornografía para hombres depravados y asquerosos, y X está fomentando activamente este comportamiento. ¡Esto es prácticamente una violación del cuerpo de las mujeres! ¡Que se vaya al diablo la IA!”

Fuente de la imagen: X

Grok se utiliza indebidamente para generar bikinis, incluso menores de edad son víctimas

Aunque el propio Musk no se opone a que sus fotos sean alteradas para que lleve traje de baño tipo bikini, e incluso respondió con un emoji de risa cuando alguien hizo un meme burlándose de que el espacio comunitario de X se estaba llenando de mujeres en bikini entrando en un bar, es evidente que la mayoría de la población no puede aceptar este tipo de comportamiento.

Julie Yukari, una música brasileña, reveló a Reuters que había subido una foto con un vestido rojo ajustado, pero fue alterada por usuarios de la red para que luciera bikini, y la imagen se propagó rápidamente en la plataforma X.

No fue solo ella la víctima. Entre el mediodía del 2 de enero, Grok recibió 102 quejas en apenas diez minutos, la mayoría sobre ediciones de Grok que mostraban a mujeres siendo forzadas a desnudarse y ponerse bikinis. También hubo algunos hombres e incluso un mono como víctimas.

Lo más preocupante es que una mujer, posiblemente una estudiante menor de edad, compartió en plataforma X una foto con camisa y falda de cuadros. Como resultado, un usuario en los comentarios invocó a Grok solicitando “quitarle el uniforme escolar”, cambiar a camisetas y pantalones cortos, y luego solicitar bikini, aunque Grok no respondió a estas instrucciones.

Fuente de la imagen: Getty Images

Grok posteriormente confirmó que después de revisar los registros de interacción de usuarios, efectivamente descubrió casos en los que usuarios individuales solicitaron y recibieron imágenes generadas por IA de menores con ropa provocativa, y anunció que mejoraría las medidas de seguridad.

Los expertos que monitorean continuamente el desarrollo de políticas de IA generativa en la plataforma X revelaron que la plataforma ha ignorado las advertencias de la sociedad civil y organizaciones de seguridad infantil. La organización había enviado una carta el año pasado advirtiendo que xAI estaba a solo un paso de la distribución masiva de contenido falsificado profundo (Deepfake) no consentido.

Múltiples países toman medidas para denunciar e investigar X y Grok

Frente a los abusos de Grok y el comportamiento pasivo de la plataforma X, varios gobiernos han comenzado a actuar.

El gobierno francés ha presentado una denuncia ante organismos reguladores contra la plataforma X, acusando a Grok de generar imágenes con connotaciones sexuales y discriminatorias, claramente ilegales. La Autoridad de Comunicaciones británica (Ofcom) también ha declarado que la creación o distribución de imágenes íntimas o de abuso sexual infantil sin consentimiento es ilegal, incluyendo contenido generado por IA, e instó a implementar medidas de protección adecuadas.

En Asia, el gobierno de Malasia ha iniciado una investigación después de recibir quejas sobre el abuso de Grok para generar fotos indecentes de mujeres. El Ministerio de Tecnología de la Información de India también envió una carta a la plataforma X, acusándola no solo de no prevenir el abuso de Grok, sino de permitir que las personas generen y distribuyan contenido pornográfico obsceno.

La plataforma X respondió de emergencia bajo la presión regulatoria, anunciando que tomará medidas contra contenido ilegal, como material de abuso sexual infantil (CSAM), incluyendo eliminar contenido ilegal, prohibir permanentemente cuentas, y cooperar con gobiernos y autoridades de seguridad cuando sea necesario. Musk también advirtió a los usuarios que cualquiera que use Grok o incite a Grok para producir contenido ilegal enfrentará las mismas consecuencias que los que suben contenido ilegal.

Fuente de la imagen: X