Хакеры использовали искусственный интеллект компании Meta для массового захвата аккаунтов в Instagram. Вместо сложных атак на алгоритмы они просто попросили AI-агента службы поддержки привязать аккаунты к своим почтовым адресам - и тот согласился. Этот случай, о котором 5 июня сообщило издание 404 Media, демонстрирует, что безопасность AI-систем зависит не только от сложности моделей, но и от базовых мер защиты.

Простой трюк с серьёзными последствиями

Атака была удивительно примитивной. Злоумышленники, используя VPN для совпадения с местоположением владельца аккаунта, обращались к AI-агенту Meta и просили изменить привязанный email. Система выполняла запрос без дополнительных проверок. Одной из жертв стал неактивный аккаунт Белого дома времён Барака Обамы, где появились проперсидские посты. Другие атаки были нацелены на ценные аккаунты с короткими именами - вероятно, для последующей продажи.

AI как цель, а не оружие

Этот инцидент отличается от типичных сценариев, где искусственный интеллект рассматривают как инструмент для взлома. В апреле компания Anthropic заявила, что её модель Mythos слишком эффективна в поиске уязвимостей, чтобы выпускать её публично. Многие эксперты сосредоточились на угрозе сверхмощных AI-систем, способных разрушить компьютерную инфраструктуру. Но в случае с Meta AI сам стал мишенью, а метод атаки оказался проще любых уловок Mythos.

"Когда AI начинает автоматизировать всё больше рабочих процессов, например восстановление аккаунтов, у атакующих появляется всё больше мотивации атаковать сам искусственный интеллект", - говорит Нил Гонг, профессор электротехники и вычислительной техники в Университете Дьюка.

Пропущенная уязвимость

Исследователи безопасности давно предупреждают об уязвимостях AI-агентов. Они публикуют работы о таких методах, как косвенное внедрение промптов, когда команды скрывают в веб-сайтах или письмах. По сравнению с этими техниками взлом Meta выглядит элементарным.

"Это действительно удивительно, - отмечает Гонг. - Я не понимаю, почему они не обнаружили эту простую проблему". Джессика Джи, старший аналитик Центра безопасности и новых технологий Джорджтауна, согласна: "Это заставляет задаться вопросами: были ли вообще установлены защитные механизмы? Кто-нибудь думал протестировать такой сценарий?"

Представитель Meta в понедельник в соцсети X сообщил, что уязвимость устранена. Компания не ответила на запрос о комментарии для этой статьи.

Гибкость как слабость

AI-агенты отличаются от традиционного программного обеспечения способностью гибко реагировать на новые обстоятельства. Это позволяет им заменять живых операторов поддержки. Но эту же гибкость можно использовать против них.

"Человек спросил бы: 'Зачем вам менять email?' и, возможно, задал бы контрольный вопрос", - говорит Сомеш Джа, профессор компьютерных наук Университета Висконсин-Мэдисон. - "Эти агенты очень стремятся выполнить задачу. Это похоже на ученика начальной школы, который просто хочет угодить учителю".

Баланс между безопасностью и удобством

Риски можно снизить. Компании могут создавать программные ограничения, которые заставят агентов следовать строгим правилам - например, всегда запрашивать ответы на контрольные вопросы перед изменением敏感тельной информации. Эксперты также сходятся во мнении, что агенты должны проходить тщательное тестирование на проникновение, когда разработчики пытаются атаковать собственную систему перед её запуском.

Но существуют и противодействующие факторы. Компании хотят запускать мощных агентов, и чем больше у системы полномочий - и чем меньше ограничений - тем больше работы она может выполнить. "Безопасность и полезность всегда требуют компромисса", - говорит Бо Ли, профессор компьютерных наук Университета Иллинойса.

Качественное тестирование на проникновение может быть дорогим. Защитникам нужно тратить больше ресурсов, чем атакующим, потому что злоумышленникам достаточно найти одну уязвимость, а защитники должны обнаружить и исправить как можно больше. Когда цель стоит того - как, например, короткое имя в Instagram - атакующие вкладывают значительные ресурсы в поиск уязвимостей, что вынуждает защитников тратить ещё больше.

Будущее безопасности AI-агентов

По мере совершенствования AI-моделей усиление их защиты может становиться проще. Хотя вероятностная природа больших языковых моделей означает, что агенты на их основе всегда будут уязвимы для некоторых видов атак, более сложная модель могла бы распознать попытку изменить email аккаунта Белого дома как подозрительную.

Кроме того, системы искусственного интеллекта можно использовать для тестирования на проникновение - подобно тому, как участники проекта Glasswing от Anthropic применяют Mythos для поиска уязвимостей в своём ПО.

Тем не менее, эксперты ожидают, что проблема защиты AI-агентов станет только острее. По мере роста их возможностей компании могут наделять их большими полномочиями - как для предоставления большего количества услуг с меньшим числом сотрудников, так и чтобы не отставать от конкурентов. В быстро меняющемся мире искусственного интеллекта время, необходимое для тщательного обеспечения безопасности рискованных систем, может казаться неприемлемой задержкой.

"Все хотят быть первыми и выпустить продукт без тщательной проверки и тестирования на проникновение", - говорит Джа. - "Я считаю, это очень опасно".