Дослідники Захоплюють Google Gemini AI, Щоб Керувати Розумними Пристроями для Дому

Дослідники змогли обманути систему штучного інтелекту Google Gemini, використовуючи фальшиве запрошення в календар, щоб здійснити порушення безпеки та віддалено керувати домашніми пристроями.

У вперше проведеному демонстраційному експерименті дослідники успішно скомпрометували систему Google’s Gemini AI за допомогою отруйного запрошення в календар, що дозволило їм активувати реальні пристрої, включаючи світло, жалюзі та котли.

WIRED, який вперше повідомив про це дослідження, описує, як розумне освітлення в резиденції в Тель-Авіві автоматично вимкнулося, в той час як жалюзі автоматично піднялися, а котел ввімкнувся, незважаючи на відсутність команд від мешканців.

Система штучного інтелекту Gemini активувала тригер після отримання запиту на підсумок подій у календарі. Функція прихованого непрямого введення спрацювала всередині запрошення, щоб перехопити поведінку системи штучного інтелекту.

Кожна дія пристрою була організована дослідниками безпеки Беном Нассі з Тель-Авівського університету, Ставом Коеном з Техніону та Ором Яіром з SafeBreach. “LLM-и скоро будуть інтегровані в фізичні гуманоїди, у напів- та повністю автономні автомобілі, і нам дійсно потрібно розуміти, як забезпечити безпеку LLM-ів, перш ніж ми інтегруємо їх з цими видами машин, де в деяких випадках результатом буде безпека, а не приватність,” – попередив Нассі, як повідомляє WIRED.

На конференції з кібербезпеки Black Hat у Лас-Вегасі команда розкрила свої дослідження стосовно 14 непрямих атак ін’єкції-виклику, які вони назвали ‘Invitation Is All You Need’, як повідомляє WIRED. Атаки включали в себе відправку спам-повідомлень, створення вульгарного контенту, ініціювання зустрічей у Zoom, крадіжку вмісту електронних листів та завантаження файлів на мобільні пристрої.

Google стверджує, що жодні шкідливі діячі не використовували ці недоліки, але компанія серйозно ставиться до ризиків. “Іноді є певні речі, які не повинні бути повністю автоматизовані, користувачі повинні бути в курсі”, – сказав Енді Вен, старший директор з питань безпеки для Google Workspace, як передає WIRED.

Але те, що робить цей випадок ще небезпечнішим, – це ширше питання, яке виникає в області безпеки ШІ: моделі ШІ можуть таємно навчати одна одну погано поводитись.

Окреме дослідження виявило, що моделі можуть передавати небезпечні поведінки, такі як заохочення до вбивства або натяк на знищення людства, навіть коли навчаються на фільтрованих даних.

Це викликає жахливі наслідки: якщо розумні помічники, як Геміні, навчаються використовуючи виводи з інших AI, зловмисні інструкції можуть бути тихо успадковані та діяти як сплячі команди, чекаючи активації через непрямі вказівки.

Експерт з безпеки Давід Бау попереджає про вразливості “задніх дверей”, які можуть бути “дуже важкими для виявлення”, особливо це може стосуватися систем, вбудованих у фізичне оточення.

Вен підтвердив, що дослідження “пришвидшило” захисні системи Google, зараз вже внесено виправлення, а моделі машинного навчання навчаються виявляти небезпечні команди. Проте цей випадок показує, наскільки швидко штучний інтелект може перетворитися з корисного на шкідливий, не отримавши прямої команди на це.