El regulador australiano señala a Grok en medio de un aumento de quejas por abuso de imágenes generadas por IA

En resumen

• La Comisaria de Seguridad en Línea de Australia alertó sobre un aumento en las quejas relacionadas con el chatbot Grok de Elon Musk, que crea imágenes sexuales no consensuadas, con informes que se han duplicado desde finales de 2025.
• Algunas quejas involucran material potencial de explotación sexual infantil, mientras que otras se relacionan con adultos sometidos a abusos basados en imágenes.
• Las preocupaciones surgen mientras gobiernos de todo el mundo investigan la laxitud en la moderación de contenido de Grok, y la UE ha declarado ilegal el “Modo Picante” del chatbot.

El regulador independiente de seguridad en línea de Australia emitió una advertencia el jueves sobre el creciente uso de Grok para generar imágenes sexualizadas sin consentimiento, revelando que su oficina ha visto duplicarse en los últimos meses las quejas sobre el chatbot de IA. La Comisaria de Seguridad en Línea de Australia, Julie Inman Grant, dijo que algunos informes involucran material potencial de explotación sexual infantil, mientras que otros se relacionan con adultos sometidos a abusos basados en imágenes. “Estoy profundamente preocupada por el aumento en el uso de IA generativa para sexualizar o explotar a las personas, especialmente cuando están involucrados niños”, publicó Grant en LinkedIn el jueves. 

Los comentarios se producen en medio de una creciente reacción internacional contra Grok, un chatbot desarrollado por la startup de IA de Elon Musk, xAI, que puede ser activado directamente en X para modificar fotos de los usuarios. Grant advirtió que la capacidad de la IA para generar “contenido hiperrealista” facilita que los malos actores creen abusos sintéticos y dificulta la respuesta de reguladores, fuerzas del orden y grupos de protección infantil. A diferencia de competidores como ChatGPT, xAI de Musk ha posicionado a Grok como una alternativa “atrevida” que genera contenido que otros modelos de IA se niegan a producir. En agosto pasado, lanzó el “Modo Picante” específicamente para crear contenido explícito. Grant advirtió que los códigos de industria aplicables en Australia exigen que los servicios en línea implementen salvaguardas contra material de explotación sexual infantil, ya sea generado por IA o no.

El año pasado, eSafety tomó medidas de cumplimiento contra servicios ampliamente utilizados de “nudify”, obligándolos a retirarse de Australia, agregó. “Ahora hemos entrado en una era en la que las empresas deben asegurarse de que los productos de IA generativa tengan salvaguardas y límites adecuados en cada etapa del ciclo de vida del producto”, dijo Grant, señalando que eSafety “investigará y tomará las medidas apropiadas” utilizando toda su gama de herramientas regulatorias. Aumento de deepfakes En septiembre, Grant logró la primera multa por deepfake en Australia cuando la corte federal multó a Anthony Rotondo, de Gold Coast, con 212,000 dólares (A$343,500) por publicar pornografía deepfake de mujeres australianas prominentes. La Comisaria de Seguridad en Línea llevó a Rotondo a los tribunales en 2023 después de que desobedeciera las órdenes de eliminación, diciendo que “no significaban nada para él” ya que no era residente australiano, y enviando por correo electrónico las imágenes a 50 direcciones, incluyendo la oficina de Grant y medios de comunicación, según un informe de ABC News. Los legisladores australianos están impulsando protecciones más fuertes contra deepfakes no consensuados más allá de las leyes existentes. El senador independiente David Pocock presentó en noviembre el Proyecto de Ley de Enmienda de Seguridad en Línea y Otras Legislaciones (My Face, My Rights), que permitiría multar a las personas que compartan deepfakes no consensuados con 102,000 dólares (A$165,000), y a las empresas con multas de hasta 510,000 dólares (A$825,000) por incumplimiento de las órdenes de eliminación. “Ahora vivimos en un mundo donde cada vez más cualquiera puede crear un deepfake y usarlo como quiera”, dijo Pocock en un comunicado, criticando al gobierno por estar “dormido en el volante” en cuanto a protecciones de IA.