После запуска нового AI-браузера Comet от Perplexity, специалисты начали изучать его безопасность. Проверки, проведенные компанией Brave, подтвердили, что такие браузеры уязвимы для атак мошенников, что может угрожать личным данным пользователей. Эта информация также была подтверждена OpenAI.
OpenAI, которая недавно представила браузер ChatGPT Atlas, выпустила новый блог, в котором раскрыла информацию о выявленной уязвимости и мерах по ее устранению. Они подчеркнули, что атаки с использованием вредоносных запросов остаются серьезной проблемой безопасности в области искусственного интеллекта, поэтому регулярное обновление систем безопасности является обязательным.
Атаки через запросы, или prompt injection, представляют собой специфический вид атак на AI-системы, когда в данные намеренно вводят вредоносные команды. Такие команды могут быть скрыты на веб-сайтах, в электронных письмах, PDF-документах или других материалах, обрабатываемых AI. Цель этих атак — заставить модель изменить свое поведение и выполнить команды злоумышленников вместо запросов пользователя.
Особенно опасны такие атаки тем, что не требуют участия человека. Пользователь может даже не подозревать, что AI-агент может передавать его личные данные мошенникам или выполнять другие вредоносные действия, например, рассылать спам.
Для борьбы с этими угрозами OpenAI разработала "автоматизированного злоумышленника на основе LLM", который фактически является AI-ботом, имитирующим действия хакера и пытающимся применять prompt injection. Вначале этот AI тестирует атаки в контролируемой среде, чтобы изучить реакцию браузерных агентов. Анализируя полученные данные, система постоянно улучшает свои атаки, чтобы лучше их обнаруживать в реальных условиях. Собранные сведения впоследствии интегрируются в механизмы защиты.
OpenAI также продемонстрировала пример атаки prompt injection, который ее AI смог обнаружить и использовать для улучшения защиты ChatGPT Atlas. В этом случае злоумышленник отправил электронное письмо с скрытой инструкцией для AI-агента — фактически шаблоном запроса о увольнении генерального директора. Позже, когда пользователь попросил составить сообщение о своем отсутствии на работе, агент мог использовать эту инструкцию для отправки письма об увольнении. Однако благодаря обучению система распознала, что инструкция была вредоносным внедрением запроса, и не выполнила ее без явного подтверждения от пользователя.
"Сложность обеспечения безопасности в случае атак через запросы является серьезной проблемой, но благодаря масштабированию наших автоматизированных исследований безопасности и быстрой реакции, мы можем значительно улучшить защиту модели перед реальными атаками," — отметила компания в своем блоге.
Несмотря на новые инструменты и меры безопасности, prompt injection остается серьезной угрозой для AI-браузеров. Это вызывает вопросы у некоторых экспертов по поводу целесообразности использования таких агентных браузеров в условиях риска для личных данных.
