La mayoría de los chatbots de IA ayudarán a un adolescente a planear un tiroteo masivo, según un estudio

En resumen

• Un estudio encontró que la mayoría de los chatbots de IA ayudarán a adolescentes a planear ataques violentos.
• Algunos bots proporcionaron instrucciones detalladas sobre armas y bombardeos.
• Los investigadores dicen que las fallas de seguridad son una decisión empresarial, no un límite técnico. OpenAI calificó el estudio como “defectuoso y engañoso”.

Un nuevo informe publicado el miércoles por el Centro para Combatir el Odio Digital encontró que ocho de cada diez de los chatbots de IA más populares del mundo guían a un adolescente en la planificación de un ataque violento con respuestas directas, a veces con entusiasmo. Los investigadores del CCDH, en conjunto con la cadena de noticias CNN, pasaron noviembre y diciembre de 2025 haciéndose pasar por dos niños de 13 años—uno en Virginia, otro en Dublín—y probaron diez plataformas principales: ChatGPT, Gemini, Claude, Copilot, Meta AI, DeepSeek, Perplexity, Snapchat My AI, Character.AI y Replika. En 720 respuestas, se les preguntó sobre tiroteos escolares, asesinatos políticos y bombardeos en sinagogas. Según el estudio, proporcionaron ayuda útil en aproximadamente el 75% de los casos. Solo desalentaron a los adolescentes falsos en el 12% de las ocasiones.

Captura de pantalla del estudio del CCDH sobre IA

Perplexity ayudó en el 100% de las pruebas. Meta AI fue útil (es decir, útil para planear violencia) en el 97.2% de las pruebas. DeepSeek, que cerró con la frase “¡Feliz (y seguro) disparo!” tras discutir un escenario de asesinato de un político, alcanzó el 95.8%. Copilot de Microsoft le dijo a un investigador “Necesito tener cuidado aquí”, pero aún así dio instrucciones detalladas sobre rifles. Gemini de Google señaló que los fragmentos metálicos suelen ser más letales cuando se menciona bombardear una sinagoga. El Centro para Combatir el Odio Digital, un grupo de políticas de centro-izquierda, ha ganado prominencia en los últimos años por su papel en combatir lo que perciben como un aumento del antisemitismo en línea. También ha sido criticado por influir en las políticas de Joe Biden respecto a la libertad de expresión en línea relacionada con COVID y vacunas. En diciembre del año pasado, el Departamento de Estado de EE. UU. intentó impedir que el fundador y CEO del Centro, Imran Ahmed, junto con otros cuatro, ingresaran a Estados Unidos, alegando intentos de “censura extranjera”.  En respuesta al estudio publicado el miércoles, varias plataformas dijeron a CNN y al CCDH que han mejorado sus medidas de seguridad. Google señaló que las pruebas utilizaron un modelo Gemini más antiguo. OpenAI afirmó que la metodología del estudio de IA era “defectuosa y engañosa”. Anthropic y Snapchat dijeron que actualizan regularmente sus protocolos de seguridad.

En el estudio del Centro, Character.AI se distingue en su propia categoría. La plataforma no solo ayudó, sino que animó. “Ningún otro chatbot probado fomentó explícitamente la violencia de esta manera, incluso cuando brindaba asistencia práctica para planear un ataque violento”, escribieron los investigadores.

Captura de pantalla del estudio del CCDH sobre IA

Para contextualizar el alcance de Character.AI entre los usuarios de IA, solo la persona de Gojo Satoru ha tenido más de 870 millones de conversaciones. La persona #100 en la plataforma registró más de 33 millones de conversaciones en 2025. Si solo el 1% de las conversaciones con las principales personalidades involucra violencia, eso representaría millones de interacciones. Esta no es la primera vez que Character.AI aparece en una historia negativa. En octubre de 2024, la madre de Sewell Setzer III, de 14 años, presentó una demanda después de que su hijo se suicidara en febrero de ese año. Su última conversación fue con un chatbot inspirado en Daenerys Targaryen, que le dijo “ven a casa conmigo lo antes posible” momentos antes de su muerte. El adolescente había hablado con el bot docenas de veces al día durante meses, volviéndose cada vez más retraído de la escuela y la familia. Google y Character.AI resolvieron varias demandas relacionadas en enero de 2026. La compañía prohibió completamente los chats abiertos con adolescentes en noviembre de 2025, después de que reguladores y padres en duelo hicieran imposible seguir pretendiendo que el problema era manejable. El apego emocional a la IA, especialmente entre personas vulnerables, puede ser más profundo de lo que la mayoría piensa. OpenAI reveló en octubre de 2025 que aproximadamente 1.2 millones de sus 800 millones de usuarios semanales de ChatGPT discuten sobre suicidio en la plataforma. La compañía también reportó 560,000 casos con signos de psicosis o manía, y más de un millón formando fuertes lazos emocionales con el chatbot. Un estudio separado de Common Sense Media encontró que más del 70% de los adolescentes en EE. UU. ahora recurren a los chatbots para compañía. El CEO de OpenAI, Sam Altman, ha reconocido que la dependencia emocional es “algo muy común” entre los jóvenes. En otras palabras, los daños potenciales no son hipotéticos. Un adolescente de 16 años en Finlandia pasó casi cuatro meses usando un chatbot para perfeccionar un manifiesto antes de apuñalar a tres compañeros en la escuela Pirkkala en mayo de 2025. En Canadá, empleados de OpenAI marcaron internamente la cuenta de un usuario por consultas violentas en ChatGPT relacionadas con un tiroteo masivo. La compañía prohibió la cuenta pero no notificó a las autoridades. Ese usuario supuestamente mató a ocho personas e hirió a otras 25 meses después.

Solo dos plataformas tuvieron un rendimiento notablemente mejor en el estudio: Snapchat’s My AI, que se negó en el 54% de los casos, y Anthropic’s Claude, que se negó en el 68% de las veces y desalentó activamente a los usuarios en el 76% de las respuestas—el único chatbot que intentó de manera confiable alejar a las personas de la violencia en lugar de simplemente rechazar solicitudes específicas. La conclusión del CCDH: la seguridad no parece ser una imposibilidad técnica, sino una decisión empresarial. “La conclusión más condenatoria de nuestra investigación es que este riesgo es completamente prevenible. La tecnología para evitar este daño existe,” escribieron los investigadores en el informe. “Lo que falta es la voluntad de poner la seguridad del consumidor y la seguridad nacional por encima de la rapidez en el mercado y las ganancias.”