В этой мошеннической схеме AI отвечает за романтические отношения и за подделку лицензий юристов.

Карри, Deep Tide TechFlow

OpenAI за последние два дня опубликовал сообщение о том, что кто-то был арестован за плохие действия с ChatGPT.

Отчёт объёмный и перечисляет большое количество случаев неправильного использования ИИ. Есть русские, занимающиеся ложной пропагандой, и есть подозреваемые шпионы, занимающиеся социальной инженерией, но сегодня я хочу поговорить об одном из случаев:

Тарелка для убийства камбоджийских свиней.

Тарелки для убийства свиней — не редкость, и все слышали слишком много историй о камбоджийских парках. Странно то, какая роль ИИ в этом процессе.

В этой мошеннической банде ChatGPT отвечает за влюбление, перевод инструкций руководителя, ежедневное написание отчётов по будням и ценность каждой жертвы.

В тарелке для убийства свиней внутренний термин называется «стоимость убийства» — это оценка того, сколько денег можно выжать из вас.

На всей конвейере ChatGPT, вероятно, самый загруженный сотрудник.

OpenAI дала проекту кодовое название Operation Date Bait.

Вот процесс.

Мошенническая банда сначала создала фальшивый элитный сервис знакомств под названием Klub Romantis с логотипом из ChatGPT. Затем они размещали платные объявления в социальных сетях с ключевыми словами гольф, яхты и элитные рестораны, специально ориентированные на молодых индонезийских мужчин.

Вы кликаете на рекламу и начинаете с общения с ИИ-чат-ботом. Робот притворяется сексуальным на ресепшене, позволяет выбрать, какая девушка тебе нравится, и даёт ссылку на Telegram с эксклюзивным кодом приглашения.

Оказавшись в Telegram, реальные люди начали брать верх.

Администратор продолжает использовать ChatGPT для создания неоднозначных сообщений, становясь всё более откровенным по мере вашего общения, а затем направляет вас на две фейковые платформы знакомств — одну под названием LoveCode и другую под названием SexAction.

На платформе полно фейковой информации о девушках, а также есть прокручивающаяся панель сообщений, где постоянно показывают «Поздравляем такого-то с выполнением задания и разблокировкой бонуса». Всё это выдумано, и вы можете увидеть это с первого взгляда, если у вас есть опыт серфинга в интернете, но не все целевые группы не будут обмануты.

Разговор уже на месте, и администратор переводит вас к «наставнику». Наставник начал просить тебя выполнять «задачи», каждое задание должно было оплачиваться деньгами, и сумма становилась всё больше и больше с каждым разом. Покупайте VIP-карты, голосуйте за «любимых девушек», вносите депозиты в отель — и там много имён.

Последний шаг — это внутреннее убийство.

Придумайте причину, какие ошибки при обработке данных, какой депозит для подтверждения — это позволяет вам перевести большую сумму за раз. OpenAI включил в отчёт письмо, отправленное жертвам мошеннической группировкой, с просьбой выплаты в размере 20,5 миллиона рупий, что эквивалентно примерно $12,000, и с указанием, что 35% бонуса будет возвращено после оплаты.

Когда деньги придут, мошенник в Telegram заблокирует вас и даст заметку о закрытии дела.

Видя это, вы можете подумать, что это пустяки.

Сам трюк не нов, и рутина убийства свиней была перенята много раз в последние годы. Что действительно поразило людей — это закулисные сцены.

Исследователи OpenAI создали полную корпоративную архитектуру на основе записей использования этих аккаунтов ChatGPT:

Парк мошенничества разделён на три отдела: дренажную группу, приёмную и наблюдательную. Команда по дренажу отвечает за рекламу и привлечение людей, команда рецепции — за общение с целью укрепления доверия, а команда надзора — за окончательный сбор урожая.

Есть ежедневная газета. В ежедневном отчёте перечислены каждую жертву, которая подвергается обработке, рядом с ответственным, где продвигался прогресс и какое число:

Kill value.

Это сумма, которую руководитель оценивает, что может быть извлечена от этого человека.

Они также используют ChatGPT для анализа финансовых счетов, создания отчётов о работе и даже спроса у ChatGPT, как подключаться к API и менять код сайтов знакомств. В ситуациях, когда руководители говорят по-китайски, а сотрудники — на индонезийском, ChatGPT отвечает за перевод с обеих сторон.

Забавно, что сотрудник, занимающийся мошенничеством с помощью ChatGPT, спросил о налогах после получения дохода, и колонка с профессиями, откровенно говоря, была заполнена мошенником.

Отчёт OpenAI был сдержан, утверждая, что, основываясь на собственных данных мошенников, они могут одновременно обрабатывать сотни целей и зарабатывать тысячи долларов в день. Однако в отчёте также говорится, что невозможно независимо проверить, достоверность ли эти цифры.

Однако, я считаю, что нет причин беспокоиться о том, правдивы ли цифры, достаточно просто взглянуть на этот набор управленческих процессов:

Дренаж, конвертация, цена на единицу клиента, ежедневный отчет, разделение обязанностей между отделами, изменение терминологии — вы думаете, что смотрите руководство по эксплуатации SaaS-компании.

А влюбляться, переводить, писать ежедневные газеты, менять коды, расставлять счета… Большая часть работы на этом кампусе выполняется через аккаунт ChatGPT.

История на этом не заканчивается.

OpenAI также удалил вторую строку из того же отчёта под кодовым названием Operation False Witness (вторичное мошенничество жертвы), также из Камбоджи.

Эта фраза направлена не на обычных людей, а на тех, кто уже был обманут.

Логика очень проста: вас обманули на деньги тарелкой для убоя свиней, вы хотите вернуть её, что делать, если вы ищете информацию в интернете.

Затем вы видите рекламу, в которой говорится, что компания специализируется на помощи жертвам мошенничества в возмещении убытков. Ты нажимаешь.

Сайт предлагает много разных вещей. Некоторые фотографии адвокатов — это настоящие аватары, украденные из социальных сетей, а другие созданы ИИ. У каждой юридической фирмы есть адрес, лицензия и профиль. ChatGPT создавал членские карты для Ассоциации адвокатов штата Нью-Йорк, а также поддельные регистрационные записи адвокатов.

OpenAI обнаружил как минимум шесть поддельных юридических фирм.

Есть также сайт, который напрямую выдаёт себя за Центр жалоб на интернет-преступления ФБР. На странице есть кнопка «Отправить жалобу», и вы можете нажать на неё, чтобы перейти к аккаунту Telegram.

В Telegram «адвокат» начинает с вами разговаривать. Речь создана ChatGPT и специально просится написать её на «американском английском» в тоне, напоминающем тон профессионального юриста. Они говорят, что мы сотрудничаем с Международным уголовным судом, и до возвращения средств не взимается плата.

Но для активации аккаунта и оплаты криптовалютой нужно заплатить 15% сервисной комиссии.

Они также позволяют подписать соглашение о неразглашении. Это соглашение о неразглашении также было написано ChatGPT, чтобы вы не могли проверить.

Позже ФБР выпустило публичное предупреждение по поводу инцидента, заявив, что афера была направлена в первую очередь на пожилых людей и использовала стремление жертв возместить потери.

После прочтения этих двух случаев, думаю, в нынешних условиях, когда ИИ стал стандартом, вот самая ироничная улыбка:

В первый раз, когда ты солгаешь — ты становишься целью. Вы становитесь лучшей целью во второй раз, когда вас обманывают, потому что вы доказали, что вас обманут.

Наконец, OpenAI подытожил процесс мошенничества в трёх этапах в отчёте.

Первый шаг называется пингованием, холодным контактом и поиском способа привлечь внимание цели. Второй этап называется зинг, который вызывает эмоции, вызывающие возбуждение, возбуждение или страх. Третий шаг называется жало, сбор урожая, получение денег.

Эта структура очень хорошо изложена, посмотрите внимательнее, какой из этих трёх шагов не может выполнить ИИ?

Раньше самой большой ценой от убийства свиней были люди. Нужно нанять комнату людей, которые сидеть за компьютером и общаться, и говорить на целевом языке. Камбоджийский парк набирал людей в первые годы, также выбирал хороший английский, а зарплата была высокой.

Теперь, рассматривая дело о мошенничестве с отношениями, упомянутое в отчёте, руководитель говорит по-китайски, сотрудник — на индонезийском, а цель тоже индонезиец. Три стороны не понимали языка, поэтому раньше не могли выполнять эту работу. Добавьте ChatGPT — и всё готово.

Язык — это просто одна из таких вещей.

В отчёте также есть деталь, что мошенник даже спросил ChatGPT, как подключиться к API OpenAI, пытаясь полностью автоматизировать чат.

Другими словами, ИИ не делает обман умным, обман — это все равно эти обманы. ИИ делает обман дешевле.

Теперь, по данным OpenAI, банда может иметь дело с сотнями мошеннических дел одновременно. По мере увеличения масштаба затраты на труд одной жертвы снижаются, что естественным образом обманывает больше людей с меньшими ценами на единицу.

Есть ещё один вопрос, который, на мой взгляд, стоит задуматься.

OpenAI смог обнаружить это, потому что мошенническая группа использовала ChatGPT, а записи чата хранились на серверах OpenAI.

А как насчёт тех, кто использует локальные модели с открытым исходным кодом?

То, что может представить этот отчёт, может быть лишь небольшой частью головоломки, которую видит OpenAI. Никто не знает, насколько большое это место, которое нельзя осветить.