Недостатки тестирования ИИ: новые исследования

Недавние исследования выявили критические проблемы в тестах, используемых для оценки безопасности и эффективности искусственного интеллекта. Об этом сообщает The Guardian.
Специалисты из Института безопасности ИИ в Великобритании вместе с экспертами из университетов Стэнфорда, Беркли и Оксфорда проанализировали более 440 тестов, оценивающих безопасность ИИ.
Они обнаружили недостатки, которые, по их мнению, подрывают достоверность полученных результатов, отметив, что практически все исследованные тесты имеют "слабые места как минимум в одной области", и результаты могут оказаться "нерелевантными или даже вводящими в заблуждение".
Многие из этих тестов используются для оценки новых моделей ИИ, разработанных крупными технологическими компаниями, как отметил исследователь Эндрю Бин из Оксфордского интернет-института.
При отсутствии национального регулирования ИИ в Великобритании и США эти тесты используются для проверки безопасности новых моделей и их соответствия интересам общества, а также для оценки их возможностей в таких областях, как аргументация, математика и кодирование.
"Тесты лежат в основе почти всех заявлений о достижениях в области искусственного интеллекта. Однако без единых определений и надежных методов измерения трудно понять, действительно ли модели улучшаются или это просто видимость", - подчеркнул Бин.
Исследование охватило общедоступные тесты, однако ведущие компании в области ИИ также имеют свои внутренние тесты, которые не были изучены.
Бин заметил, что "шокирующим выводом стало то, что только небольшое меньшинство (16%) тестов использовало оценки неопределенности или статистические методы для демонстрации вероятности точности критериев. В других случаях, когда устанавливались критерии для оценки характеристик ИИ, включая его "безвредность", определения часто были противоречивыми или нечеткими, что снижало полезность тестов.
В заключении исследования подчеркивается "необходимость в совместных стандартах и лучших практиках" в области ИИ.