Исследование: Алгоритм ЦП обучает глубокие нейросети намного быстрее платформ на графических процессорах
Ученые из Университета Райса продемонстрировали программное обеспечение искусственного интеллекта (AI), которое работает на обычных центральных процессорах (ЦП) и обучает глубокие нейросети в 15 раз быстрее, чем платформы на основе графических процессоров.
"Стоимость обучения - это фактическое слабое место в искусственном интеллекте", - сказал Аншумали Шривастава, доцент кафедры информатики в инженерной школе Райса Брауна. "Компании тратят миллионы долларов в неделю только на обучение и настройку своих рабочих нагрузок на ИИ".
Шривастава и его сотрудники из Райс и Intel представят исследование, направленное на устранение этого слабого места, 8 апреля на конференции по системам машинного обучения MLSys.
Глубокие нейронные сети (DNN) - это мощная форма искусственного интеллекта, которая может превзойти людей в некоторых задачах. Обучение DNN обычно представляет собой серию операций умножения матриц, идеальную рабочую нагрузку для графических процессоров (ГП), которые стоят примерно в три раза больше, чем центральные процессоры (ЦП) общего назначения.
"Вся отрасль зациклена на одном виде улучшений - ускорении умножения матриц", - сказал Шривастава.
Лаборатория Шриваставы сделала это в 2019 году, преобразовав обучение DNN в проблему поиска, которую можно решить с помощью хеш-таблиц. Их "сублинейный механизм глубокого обучения" (SLIDE) специально разработан для работы на стандартных процессорах, Шривастава и его сотрудники из Intel показали, что он может превзойти обучение на основе графического процессора, когда они представили его на MLSys 2020.
В исследовании, которое они представят на этой неделе на MLSys 2021, изучается, можно ли улучшить производительность SLIDE с помощью ускорителей векторизации и оптимизации памяти в современных процессорах.
"Ускорение на основе хеш-таблиц уже превосходит GPU, но процессоры также развиваются", - сказал соавтор исследования Шабнам Дагаги, аспирант Райс. "Мы использовали эти инновации, чтобы продвинуть SLIDE еще дальше, продемонстрировав, что, если вы не зациклены на умножении матриц, то мож но использовать мощность современных процессоров и обучать модели ИИ в 4-15 раз быстрее, чем лучшая специализированная альтернатива аппаратному обеспечению".
Соавтор исследования Николас Мейсбургер, заявил: "ЦП по-прежнему являются наиболее распространенным оборудованием в вычислительной технике. Нельзя недооценивать преимущества их большей привлекательности для рабочих нагрузок ИИ".
