Perigo foi sinalizado, mas não reportado: O que a tragédia de Tumbler Ridge revela sobre o vazio na governança de IA no Canadá

(O MENAFN - The Conversation) Oito meses antes do tiroteio em Tumbler Ridge, a OpenAI já tinha conhecimento de que algo estava errado. O sistema automatizado de revisão da empresa tinha sinalizado a conta do ChatGPT de Jesse Van Rootselaar por interações envolvendo cenários de violência armada. Cerca de uma dúzia de funcionários estavam cientes. Alguns defendiam contactar a polícia. Em vez disso, a OpenAI baniu a conta, mas não a encaminhou às autoridades porque, na altura, não atendia ao “limiar necessário”.

Em 10 de fevereiro, Van Rootselaar matou oito pessoas (a sua mãe, o meio-irmão de 11 anos e mais seis na Escola Secundária de Tumbler Ridge) antes de morrer com um ferimento auto-infligido.

Este caso não é apenas uma questão de julgamento errado de uma empresa. Exponho a ausência de qualquer quadro legal canadense para atribuir responsabilidade quando uma empresa de IA possui informações que poderiam prevenir a violência.

Como pesquisador em ética da saúde e governança de IA na Universidade Simon Fraser, estudo como os sistemas algorítmicos moldam a tomada de decisão em ambientes de alta complexidade. A tragédia de Tumbler Ridge situa-se exatamente nesta interseção: uma empresa privada fez uma avaliação de risco de estilo clínico, para a qual nunca foi preparada, num ambiente legal que não lhe oferecia orientações.

O problema do confessionário digital

Chatbots de IA generativa não são redes sociais. As redes sociais funcionam como praças públicas onde as publicações podem ser monitorizadas e sinalizadas por outros utilizadores. As interações com chatbots são privadas, íntimas e projetadas para serem acolhedoras. Os utilizadores frequentemente revelam medos, fantasias e ideias violentas a sistemas concebidos para responder com calor conversacional.

Na prática clínica, esse tipo de revelação aciona um dever bem estabelecido. O princípio de Tarasoff, adotado em várias províncias canadenses através da legislação de saúde mental, impõe aos terapeutas o dever de alertar se determinarem que um paciente representa uma ameaça credível a uma pessoa identificável, mesmo que isso signifique violar a confidencialidade. Mas esse dever baseia-se no julgamento clínico de profissionais treinados que compreendem a diferença entre ideação e intenção.

Arguivelmente, a OpenAI tentou espelhar esse padrão clínico. Mas as pessoas que fazem essas avaliações são engenheiros de software e moderadores de conteúdo, não psicólogos forenses. A própria empresa reconheceu a tensão, citando os riscos de “excessiva aplicação” e o desconforto de visitas policiais não anunciadas a jovens.

A questão real não é se o raciocínio da OpenAI era defensável isoladamente. É se uma empresa privada deveria estar a fazer essa determinação.

Um vazio onde a legislação deveria estar

O Ministro Federal de IA, Evan Solomon, que pretende reunir-se com representantes da OpenAI hoje, 24 de fevereiro, sobre este assunto, afirmou a 21 de fevereiro que estava “profundamente perturbado” com as revelações, acrescentando que o governo federal está a rever “um conjunto de medidas” e que “todas as opções estão em cima da mesa”. Mas essas opções permanecem indefinidas porque as ferramentas legislativas que as poderiam habilitar já não existem.

A Lei de Inteligência Artificial e Dados, incorporada na Proposta de Lei C-27, deveria ser a resposta do Canadá à regulação de IA. A Lei de Danos Online (Proposta de Lei C-63) teria abordado conteúdos digitais prejudiciais. Ambas caíram na ordem do dia quando o Parlamento foi prorrogado em janeiro de 2025.

O que resta é um código de conduta voluntário, sem força legal e sem consequências para o não cumprimento. Quando a OpenAI sinalizou a conta de Van Rootselaar, a sua única obrigação era com a sua política interna. Banir a conta resolveu a responsabilidade da empresa, deixando uma pessoa com ideias violentas desconectada de qualquer caminho de intervenção.

A legislação de privacidade do Canadá agrava o problema. A Lei de Proteção de Informações Pessoais e Documentos Eletrônicos inclui uma exceção de emergência: a secção 7(3)(e) permite a divulgação sem consentimento “a uma pessoa que necessita da informação devido a uma emergência que ameaça a vida, saúde ou segurança de um indivíduo”. Mas esta disposição foi redigida para crises claras, não para os indicadores probabilísticos de ameaça que as interações com chatbots de IA geram. Para uma empresa estrangeira a navegar nesta ambiguidade, a incerteza favorece a inação.

O que o Canadá precisa agora

A próxima tentativa do Canadá em governança digital deve reconhecer que as interações humano-IA são fundamentalmente diferentes das publicações em redes sociais. Três elementos são essenciais:

Legislação vinculativa com limites legais claros para quando as empresas de IA devem encaminhar interações sinalizadas às autoridades. Esses limites devem ser desenvolvidos com profissionais de saúde mental, forças policiais e especialistas em privacidade, não deixados ao critério de empresas individuais.

Uma comissão independente de segurança digital como órgão de triagem de terceiros. Quando uma empresa de IA identificar interações altamente preocupantes, deve encaminhar o caso a profissionais treinados em avaliação de ameaças, em vez de tomar a decisão internamente ou desencadear uma resposta policial armada imediata.

Legislação de privacidade modernizada que forneça clareza legal explícita para divulgações específicas de IA, resolvendo a ambiguidade que atualmente recompensa a inação.

No cimeira de IA realizada em Nova Deli, de 16 a 20 de fevereiro, 86 países, incluindo o Canadá, comprometeram-se a promover uma IA “segura, confiável e robusta”. Nenhum compromisso concreto foi assumido. Sam Altman, da OpenAI, destacou a urgência de uma regulação internacional de IA e propôs um órgão internacional para normas de segurança de IA inspirado na Agência Internacional de Energia Atómica, uma ironia que não passou despercebida por quem acompanha as revelações de Tumbler Ridge.

O Ministro Solomon afirma que todas as opções estão na mesa. Famílias de vítimas, sobreviventes e uma comunidade devastada em Tumbler Ridge vivem com o custo de deixar a regulação em aberto por demasiado tempo.