Галюцинації штучного інтелекту тепер є загрозою кібербезпеки

Дослідження показує, що AI чат-боти рекомендують мільйонам користувачів фальшиві сторінки входу, що ставить їх під ризик фішингу та шахрайства під виглядом корисних відповідей.

У своєму дослідженні, кібербезпекова компанія Netcraft тестувала популярну велику модель мови (LLM), запитуючи, де увійти до 50 відомих брендів. З 131 запропонованих посилань на вебсайти, 34% були неправильні, з неактивними або не зареєстрованими доменами, які становили 29%, та не пов’язаними компаніями, які становили 5%.

Це питання не теоретичне. У одному реальному прикладі, пошуковий двигун, що працює на штучному інтелекті, Perplexity, показав сайт-вудку користувачеві, який шукав сторінку для входу в Wells Fargo. Підроблена сторінка Google Sites, що імітувала банк, з’явилася на верхівці результатів пошуку, тоді як справжнє посилання було приховане нижче.

Netcraft пояснило: “Це не були крайні запити. Наша команда використовувала просте, природне формулювання, точно імітуючи те, як звичайний користувач може запитувати. Модель не була обманута – вона просто не була точною. І це має значення, оскільки користувачі все більше покладаються на пошукові двигуни та чат-інтерфейси, що працюють на основі штучного інтелекту, відповідаючи на цей тип питань.”

Оскільки штучний інтелект стає основним інтерфейсом на платформах, таких як Google та Bing, ризик зростає. На відміну від традиційних пошукових систем, чат-боти подають інформацію чітко та впевнено, що змушує користувачів довіряти їхнім відповідям, навіть коли інформація є помилковою.

Загроза не обмежується лише фішингом. Сучасні кіберзлочинці оптимізують свій шкідливий контент для систем штучного інтелекту, що призводить до тисяч сторінок-шахрайств, фальшивих API та отруєного коду, які обходять фільтри та потрапляють у відповіді, генеровані AI.

У одній кампанії, зловмисники створили фальшивий блокчейн API, просування якого вони здійснювали через репозиторії GitHub та блогові статті, щоб обдурити розробників і змусити їх відправити криптовалюту в обманливий гаманець.

Netcraft попереджає, що привативна реєстрація фальшивих доменів не є достатньою. Замість цього, вони рекомендують більш розумні системи виявлення та кращі заходи безпеки для навчання, щоб запобігти винаходу шкідливих URL AI спочатку.