Комбинированная обработка данных делает нейросети немного умнее
Исследователи искусственного интеллекта (ИИ) в Университете штата Северная Каролина смогли улучшить производительность нейронных сетей глубокого обучения, объединив механизмы внимания и нормализации признаков в общем модуле, который они назвали "внимательной нормализацией" (Attentive Normalization, AN). Этот гибридный модуль существенно (до 3%) улучшает точность систем ценой незначительного увеличения расхода энергии.
Исследователи подключили свой модуль AN к четырем наиболее популярным архитектурам нейросетей - ResNets, DenseNets, MobileNetsV2 и AOGNets - и испытали его на двух стандартных эталонных тестах: ImageNet-1000 (классификация) и MS-COCO 2017 (обнаружение объектов и семантическая сегментация).
Было установлено, что добавление AN улучшает производительность во всех случаях. Другим важным преимуществом гибридной технологии стало то, что она улучшала перенос опыта, приобретенного в одной области, в другую. Это иллюстрируется улучшением производительности в тесте семантической сегментации MS-COCO глубоких нейронных сетей, которые предварительно были обучены классификации изображений на данных ImageNet.
Презентация статьи "Attentive Normalization" состоялась на онлайновой Европейской конференции по компьютерному зрению (ECCV), проходившей с 23 по 28 августа.
Авторы опубликовали исходный код AN в надежде, что их технология внесет вклад в оптимизацию архитектуры нейросетей глубокого обучения.
