Новый алгоритм обучения расширит область применения ИИ
Высокая энергозатратность процесса тренировки искусственных нейронных сетей является одним из главнейших препятствий к широкому использованию искусственного интеллекта (ИИ), особенно, в мобильных устройствах.
Новый подход к решению этой проблемы, воплощенный исследователями из Технического университета Граца (TU Graz) в алгоритме под названием e-prop, основан на том, как функционирует самый эффективный нейрокомпьютер - человеческий мозг. Биологические нейроны посылают короткие электрические импульсы (спайки) только когда это абсолютно необходимо, это одна из причин, почему при вычислительной мощности, сопоставимой с суперкомпьютером, мозг потребляет в миллион раз меньше энергии.
Вольфганг Маасс (Wolfgang Maass) и Роберт Легенштейн (Robert Legenstein) из Института теоретической информатики в TU Graz, который также является участником европейской инициативы Human Brain Project, используют в своей модели спайки для коммуникаций внутри искусственной нейронной сети. Спайки становятся активными только тогда, когда они необходимы для обработки информации в сети. Обучение представляет собой особую проблему для таких менее активных сетей, поскольку требуются более длительные наблюдения, чтобы определить, какие нейронные соединения улучшают производительность сети.
Информация о каждом использовании таких соединений документируется в соответствующем нейроне, вместо того, чтобы пересылаться на удаленный сервер ЦОД. Такая децентрализованная архитектура, скопированная с человеческого мозга, решает проблему избыточного использования офлайнового хранилища - недостаток других известных алгоритмов.
e-prop работает полностью в режиме онлайн и не требует отдельной памяти даже при реальной работе, что делает обучение намного более энергоэффективным. По информации его разработчиков, e-prop примерно такой же мощный, как самые лучшие и самые сложные другие известные методы обучения. Подробности опубликованы в научном журнале Nature Communications.
Маасс и Легенштейн надеются, что e-prop ускорит разработку нового поколения мобильных вычислительных систем, которые не нуждаются в программировании, а учатся в соответствии с моделью человеческого мозга и, таким образом, адаптируются к постоянно меняющимся требованиям. Цель состоит в том, чтобы исключить из процесса обучения облако, эффективно интегрировав большую часть способности к обучению в компоненты мобильного оборудования.
Авторы уже работают над интеграцией е-prop в нейроморфкую систему SpiNNaker Манчестерского университета и в следующую модификацию нейроморфного чипа Loihi корпорации Intel.
