Після запуску нового ШІ-браузера Comet від Perplexity фахівці почали глибше аналізувати його безпеку. Перевірки, проведені компанією Brave, підтвердили, що такі браузери вразливі до атак зловмисників, що може загрожувати конфіденційності користувачів. Цю інформацію також підтвердила OpenAI.
OpenAI, яка нещодавно презентувала браузер ChatGPT Atlas, випустила новий блог, де розкрила інформацію про виявлену вразливість та плани щодо її усунення. Вони підкреслили, що атаки з використанням шкідливих запитів залишаються серйозною проблемою безпеки у сфері штучного інтелекту, тому постійне оновлення систем безпеки є обов'язковим.
Атаки через запити, або prompt injection, є специфічним видом атак на ШІ-системи, коли в дані навмисно вводять шкідливі команди. Такі команди можуть бути приховані на веб-сайтах, в електронних листах, PDF-документах або інших матеріалах, які обробляє ШІ. Мета цих атак — змусити модель змінити свою поведінку та виконати команди злочинців замість запитів користувача.
Особливо небезпечні такі атаки тим, що не вимагають участі людини. Користувач навіть не підозрює, що ШІ-агент може передавати його особисті дані зловмисникам або виконувати інші шкідливі дії, наприклад, розсилати небажані електронні листи.
Для боротьби з цими загрозами OpenAI розробила "автоматизованого зловмисника на основі LLM", який фактично є ШІ-ботом, що імітує дії хакера та намагається застосовувати prompt injection. Спершу цей ШІ тестує атаки в контрольованому середовищі, щоб вивчити реакцію браузерних агентів. Аналізуючи отримані дані, система постійно вдосконалює свої атаки, щоб краще виявляти їх у реальних ситуаціях. Зібрані відомості згодом інтегруються у механізми захисту.
OpenAI також продемонструвала приклад атаки prompt injection, який її ШІ зміг виявити й використати для покращення захисту ChatGPT Atlas. У цьому випадку зловмисник надіслав електронний лист із прихованою інструкцією для ШІ-агента — фактично шаблоном запиту про звільнення генерального директора. Коли користувач попросив написати повідомлення про відсутність на роботі, агент міг використати цю інструкцію й надіслати лист про звільнення. Проте завдяки навчанню система розпізнала, що інструкція була шкідливим впровадженням запиту, і не виконала її без явного підтвердження від користувача.
"Складність забезпечення безпеки у випадку атак через запити є серйозною проблемою, але завдяки масштабуванню наших автоматизованих досліджень безпеки та швидкій реакції, ми можемо значно поліпшити захист моделі перед реальними атаками", — зазначено в блозі компанії.
Незважаючи на нові інструменти та заходи безпеки, prompt injection залишається серйозною загрозою для ШІ-браузерів. Це викликає питання у деяких експертів стосовно доцільності використання таких агентних браузерів у умовах ризику для особистих даних.
