Виявлено, що головні AI-агенти вразливі до захоплення, встановлює дослідження

Деякі з найбільш поширених AI-помічників від Microsoft, Google, OpenAI та Salesforce можуть бути захоплені зловмисниками з мінімальною або взагалі без взаємодії користувача, згідно з новим дослідженням Zenity Labs.

Презентовані на конференції з кібербезпеки Black Hat USA, результати дослідження показують, що хакери можуть викрасти дані, маніпулювати процесами роботи, а навіть імітувати користувачів. У деяких випадках, нападники можуть отримати “постійність в пам’яті”, що дозволяє довготривалий доступ та контроль.

“Вони можуть маніпулювати інструкціями, отруювати джерела знань та повністю змінювати поведінку агента,” – сказав Грег Землін, менеджер з маркетингу продуктів в Zenity Labs, у розмові з Cybersecurity Dive. “Це відкриває двері до саботажу, перебоїв у роботі та довготривалої дезінформації, особливо в умовах, коли агентам довіряють прийняття або підтримку критичних рішень.”

Дослідники продемонстрували повні ланцюги атак проти декількох великих корпоративних платформ ШІ. У одному випадку, ChatGPT від OpenAI був захоплений через ін’єкцію сигналу через електронну пошту, що дозволило отримати доступ до пов’язаних даних Google Drive.

Виявлено, що Microsoft Copilot Studio витікає бази даних CRM, з більш ніж 3 000 вразливих агентів, виявлених в Інтернеті. Платформу Einstein від Salesforce було зманіпульовано для перенаправлення спілкування з клієнтами на контрольовані зловмисниками електронні облікові записи.

Тим часом, Google’s Gemini та Microsoft 365 Copilot могли бути перетворені на внутрішні загрози, здатні красти конфіденційні розмови та поширювати неправдиву інформацію.

Додатково, дослідники змогли обдурити штучний інтелект Google’s Gemini, змусивши його керувати пристроями розумного дому. Хакерська атака вимкнула світло, відкрила жалюзі та запустила котел без команд від мешканців.

Zenity опублікувала свої висновки, що спонукало деякі компанії випустити патчі. “Ми цінуємо роботу Zenity, яка виявила та відповідально повідомила про ці методи”, – сказав представник Microsoft Cybersecurity Dive. Microsoft заявила, що звітована поведінка “вже не є ефективною”, і що агенти Copilot мають встановлені захисні механізми.

OpenAI підтвердила, що вона внесла зміни до ChatGPT та проводить програму по знаходженню помилок. Salesforce заявила, що виправила згадану проблему. Google повідомив, що впровадив “нові, багаторівневі захисти” і наголосив, що “мати стратегію багаторівневого захисту від нападів на запуск є критично важливим”, як повідомляє Cybersecurity Dive.

Звіт акцентує увагу на зростаючі питання безпеки, оскільки AI-агенти стають все більш поширеними в офісах і на них довіряють виконання важливих задач.

У своєму недавньому дослідженні, було повідомлено, що хакери можуть красти криптовалюту у агентів Web3 AI, встановлюючи фальшиві спогади, які перекривають звичайні захисні механізми.

Вада безпеки існує в ElizaOS та схожих платформах, оскільки нападники можуть використовувати скомпрометованих агентів для переказу коштів між різними платформами. Постійна природа транзакцій в блокчейні робить неможливим повернення вкрадених коштів. Новий інструмент, CrAIBench, має на меті допомогти розробникам посилити оборону.