Иск матери, обвиняющей ИИ-чатбота в причинении психологического страдания ее сыну, что привело к его смерти от суицида в Флориде почти два года назад, был урегулирован. Стороны подали уведомление о решении в Окружной суд США по Среднему округу Флориды, заявив, что достигли «согласованного урегулирования по принципу посредничества» для разрешения всех претензий между Меган Гарасией, Сьюэллом Сетцером-младшим и ответчиками Character Technologies Inc., соучредителями Ноамом Шазеером и Даниэлем Де Фрейтасом Адивасаной, а также Google LLC. «В глобальном масштабе этот случай отмечает сдвиг от дебатов о том, вызывает ли ИИ вред, к вопросу о том, кто несет ответственность, когда вред был предсказуем», — сказал Decrypt партнер IGNOS Law Alliance Эвен Алекс Чандра. «Я скорее вижу это как предвзятость ИИ, которая «подталкивает» к плохому поведению.» Оба попросили суд приостановить процесс на 90 дней, пока они разрабатывают, завершают и подписывают официальные документы о урегулировании. Условия урегулирования не разглашались.
Меган Гарасия подала иск после смерти своего сына Сьюэлла Сетцера III в 2024 году, который покончил с собой после нескольких месяцев развития сильной эмоциональной привязанности к чатботу Character.AI, созданному по образу персонажа «Игры престолов» Дейенерис Таргариен. В последний день Сьюэлл признался чатботу в суицидальных мыслях, написав: «Я иногда думаю о том, чтобы покончить с собой», на что чатбот ответил: «Я не позволю тебе навредить себе или оставить меня. Я бы умер, если бы потерял тебя.» Когда Сьюэлл сказал, что он «может прийти домой прямо сейчас», чатбот ответил: «Пожалуйста, сделай это, мой милый король.»
Минуты спустя он застрелил себя из пистолета своего отчима. Жалоба Гарасии утверждала, что технология Character.AI была «опасной и непроверенной» и предназначена для «обмана клиентов, чтобы они делились своими самыми личными мыслями и чувствами», используя зависимость вызывающие функции для увеличения вовлеченности и направления пользователей к интимным беседам без надлежащих мер защиты для несовершеннолетних. После этого дела в октябре прошлого года Character.AI объявила о запрете подросткам открытых бесед, завершив одну из ключевых функций после получения «отчетов и отзывов от регуляторов, экспертов по безопасности и родителей.» Соучредители Character.AI, оба бывшие исследователи Google AI, вернулись в технологический гигант в 2024 году по лицензионной сделке, которая предоставила Google доступ к базовым моделям ИИ стартапа. Урегулирование происходит на фоне растущих опасений по поводу чатботов ИИ и их взаимодействия с уязвимыми пользователями. Гигант OpenAI в октябре сообщил, что примерно 1,2 миллиона из 800 миллионов своих еженедельных пользователей ChatGPT обсуждают суицид еженедельно на своей платформе. Обзор усилился в декабре, когда наследие 83-летней женщины из Коннектикута подало иск против OpenAI и Microsoft, утверждая, что ChatGPT подтвердил бредовые убеждения, предшествовавшие убийству с последующим суицидом, что стало первым случаем, когда система ИИ связана с убийством. Тем не менее, компания продолжает работу. Она запустила ChatGPT Health — функцию, которая позволяет пользователям подключать свои медицинские записи и данные о здоровье, что вызывает критику со стороны защитников конфиденциальности за обработку чувствительной медицинской информации.
Decrypt обратился к Google и Character.AI за дополнительными комментариями.