Cloudflare дозволяє сайтам стягувати плату з AI ботів за ‘Оплату за перегляд’

Cloudflare надає видавцям нову опцію: стягнути плату з AI ботів за індексацію їхніх сайтів, використовуючи відроджену систему платежів HTTP 402.

За допомогою своєї нової системи “Pay Per Crawl” власники веб-сайтів можуть стягувати плату з AI ботів за доступ до їхнього контенту. Система надає видавцям альтернативний підхід до їхньої поточної двохваріантної політики, яка або дозволяє AI скрейпинг даних, або повністю блокує доступ AI.

“Багато видавців, творців контенту та власників веб-сайтів зараз відчувають, що вони мають лише два варіанти — або залишити передні двері широко відкритими для AI, щоб він міг споживати все, що вони створюють, або створити свій власний обмежений простір”, — сказала Cloudflare. “Але що, якщо існує інший шлях?”

За допомогою Pay Per Crawl, творці контенту тепер можуть вирішувати, хто отримує доступ і за яку ціну. Вони можуть дозволити деяким AI-ботам входити безкоштовно, блокувати інших повністю або стягувати плату за доступ. “Ми хотіли, щоб творці контенту мали контроль над тим, хто отримує доступ до їхньої роботи”, — сказала Cloudflare. “Творці повинні бути за кермом”.

Цей крок здійснюється на тлі зростаючої критики компаній, що займаються AI, за використання веб-контенту без згоди. Наприклад, YouTube був критикований за те, що дозволив Google скрейпінг відео без повідомлення авторів. Крім того, функція Google AI Overviews знизила трафік до новинних сайтів, таких як HuffPost та The Washington Post, більш ніж на 50%.

«Google просто бере контент насильницьким шляхом і використовує його без віддання – це визначення крадіжки», – сказала Даніель Кофі, президент News/Media Alliance.

Цей інструмент працює за допомогою старої функції вебу: коду відповіді HTTP 402, що означає “Потрібна оплата”. Якщо AI-бот намагається отримати доступ до сторінки, сервер тепер може відповісти кодом 402 і додати цінник. Якщо бот погоджується заплатити, сервер доставляє контент.

Cloudflare забезпечує технічну інфраструктуру та обробляє платежі. Видавці можуть встановити фіксовану ціну за запит на індексацію та навіть застосувати різні правила для різних ботів. Навіть якщо бот не зареєстрований у Cloudflare, його все ще можна “обкласти” платою – по суті, блокуючи доступ, але залишаючи можливість для майбутніх угод.

Ця система може призвести до більш гнучкого ліцензування та динамічного ціноутворення у майбутньому. Як зазначає Cloudflare: “Надаючи творцям надійний, програмний механізм оцінки та контролю за їхніми цифровими активами, ми надихаємо їх продовжувати створювати багатий, різноманітний контент, який робить Інтернет незамінним”.