Інструмент ШІ допомагає користувачам з втратою зору краще запам’ятовувати оточення

Система штучного інтелекту VIPTour готова значно поліпшити спосіб, яким люди зі сліпотою або слабким зором (BLV) відкривають для себе нові середовища.

Команда дослідників розробила систему VIPTour, яка дозволяє користувачам самостійно вивчати парки та туристичні місця, що в свою чергу підвищує їх задоволення та розуміння простору. Їхні висновки були опубліковані в Nature.

Система інтегрує компактну камеру з мобільним додатком, який використовує AI-алгоритм, відомий як FocusFormer. FocusFormer обробляє сцени в реальному часі, щоб виявити важливі точки, такі як маркери безпеки.

Система надає рекомендації щодо дослідження, які адаптуються до індивідуальних уподобань користувача, наприклад, вибираючи природні звуки замість історичної інформації.

Дослідники стверджують, що спільнота BLV може отримати вигоду від VIPTour завдяки персоналізованому керівництву на основі інтересів користувачів, спрощеному аудіо, тактильним описам складних сцен, а також можливостям повторного прогляду та обміну екскурсіями. Система має надати функції, які сприяють підвищенню досвіду користувачів, що перевищує звичайну допомогу.

У випробуваннях, що включали більш ніж 30 учасників BLV, переваги були вражаючими. Емоційний стан значно покращився, зі зростанням позитивних емоцій на 67,9% і збільшенням захоплення на 94,7%. Також користувачі показали поліпшення на 772,73% у відтворенні сцен, а довготривале збереження в пам’яті подвоїлося.

Багато людей зазначили, що відчувають більше автономії, стають менш залежними від інших у сприйнятті та розумінні свого оточення. Дослідники зауважують, що мільйони людей з порушеннями зору зазнають відчуття виключеності з дозвілля через недоступність оточення, зазначила дослідницька група.

Хоча існуючі інструменти допомагають людям пересуватися з місця в місце, вони часто не забезпечують приємні, незабутні враження. VIPTour намагається заповнити цю прогалину, поєднуючи передовий ШІ з обдуманим, орієнтованим на користувача дизайном.

Розробники сподіваються, що VIPTour надихне на створення більш інклюзивних технологій, які зосереджуються не тільки на доступності, але й на автономності та радості.