Новая разработка делает «черный ящик» ИИ более прозрачным
Программная платформа (фреймворк) искусственного интеллекта (ИИ) созданная в университете штата Северная Каролина, призвана облегчить пользователям понимание того, чем руководствуется машинный разум, приходя к тем или иным выводам. Позволяя отойти от сложившегося представления о системах ИИ, как о "черном ящике", эта работа имеет особенное значение для таких областей, как военное дело, где требуется разумное обоснование принимаемых решений.
"Одна из отличительных особенностей нашего фреймворка состоит в том, что мы делаем частью процесса обучения ИИ элементы, позволяющие его истолковать, - сказал Тяньфу У (Tianfu Wu), доцент компьютерных технологий университета Северной Каролины. Он также является первым автором статьи об этой работе, которая будет представлена в конце месяца на международной конференции по компьютерному зрению в Сеуле (Южная Корея).
Так, например, тренируясь распознавать объекты на картинке, ИИ-программа одновременно учится локализовать их внутри изображения и анализировать, что именно в этом конкретном месте соответствует критериям целевого объекта. Эта информация добавляется к результатам распознавания.
В целях проверки работоспособности такой концепции исследователи внедрили свой фреймворк в широкоиспользуемую интеллектуальную систему идентификации объектов, R-CNN. Затем они протестировали модифицированную систему на двух эталонных массивах данных, PASCAL VOC 2007 и COCO 2017.
Тестирование подтвердило, что включение интерпретирующего фреймворка в состав системы ИИ не оказывает негативного влияния на эффективность работы последней, как в смысле времени, так и точности.
Участники проекта считают его важным шагом к созданию полностью "прозрачного" ИИ. При этом, они признают, что предстоит еще много работы для перехода от качественной интерпретации ИИ к количественной, с включением в процесс коэффициента достоверности.
