Оптимизация вычислений в памяти снизила расход энергии на два порядка
Инянь Линь (Yingyan Lin), доцент электротехники и компьютерных технологий, вместе с коллегами по университету Райса (штат Техас), предложила два дополняющих друга друга метода оптимизации датацентричных вычислений, способных улучшить их энергоэффективность на два порядка.
Первым из предложений, продемонстрированных группой Линь 3 июня на Международном симпозиуме по компьютерной архитектуре (ISCA 2020), был TIMELY (Time-domain, In-Memory Execution, LocalitY). Этот алгоритм отходит от традиционной архитектуры фон Нейманна, перенося обработку данных в массивы памяти.
Испытания с применением более десятка моделей глубоких нейросетей и энергонезависимой резистивной памяти ReRAM, показали, что TIMELY обеспечивает 18-кратную экономию энергии и более, чем 30-кратное увеличение вычислительной плотности по сравнению с лучшим из известных ускорителей вычислений в памяти.
Вторым предложением техасской группы на ISCA 2020 была SmartExchange, комбинация инноваций в алгоритмах и в аппаратной части акселератора, которая позволяет добиться гигантской экономии энергии.
"Для доступа к основной памяти - DRAM может потребоваться примерно в 200 раз больше энергии, чем для выполнения вычислений, поэтому ключевой идеей SmartExchange было, задействовать в этом алгоритме структуры, которые позволяют нам заместить более дорогую память гораздо более дешевыми вычислениями", - сказала Линь.
Исследователи использовали алгоритм SmartExchange и свой аппаратный ускоритель в экспериментах с семью эталонными моделями глубоких нейронных сетей и тремя эталонными наборами данных. Они обнаружили, что подобная комбинация снижает задержку в 19 раз по сравнению с современными акселераторами нейронных сетей.
