Samsung будет оснащать встроенными ускорителями вычислений все типы памяти
На конференции Hot Chips 33 компания Samsung сообщила о планах встраивать ускорители вычислений во все типы оперативной памяти от смартфонов до компьютеров, видеокарт и серверов. Это позволит увеличить производительность платформ и снизить их энергопотребление. Самое приятное, что чипы памяти с ускорителями можно использовать вместо обычной памяти, а программная поддержка довольно простая, что уже заинтересовало разработчиков CPU и GPU.
Память PIM (processing-in-memory, вычисления в памяти) применительно к чипам HBM2 компания Samsung показала в феврале этого года. Каждый чип HBM2 вооружался программируемым ИИ-ускорителем производительностью 1,2 терафлопс (FP16) и мог обрабатывать хранящиеся в памяти данные непосредственно, не перегоняя их в центральный процессор и обратно. Сегодня компания сообщила, что работает над вооружением ускорителями расчетов всех основных типов оперативной памяти, что обещает появление PIM-блоков в подсистемах ноутбуков, видеокарт и так далее.
Следует сказать, что сегодня PIM-ускоритель забирает под себя примерно половину площади кристалла памяти, что не очень приятно с точки зрения наращивания объемов. В будущем Samsung обещает уменьшить ускоритель, представляя все более и более плотные микросхемы ОЗУ всех типов. В частности, для чипов HBM третьего помоления компания обещает ту же емкость для PIM-HBM3, что и для обычных микросхем HBM3. Можно предположить, что это возможно благодаря стековой структуре этой памяти.
Слои HBM-PIM (теперь это бренд Samsung Aquabolt-XL) вставляются непосредственно в стек HBM2 на ту же самую подложку-контроллер, что и раньше. Тем самым стеки HBM2 проще простого подменить стеками с включением HBM-PIM, заменив одни на другие. Такие гибридные стеки были испытаны компанией Xilinx вместе с продуктами Alveo без каких-либо модификаций процессоров и адаптеров (монтажной платы или интерпозера). По сообщению партнеров, производительность подскочила в 2,5 раза с одновременным снижением потребления энергии на 62 %. Такую же операцию, уверяют в Samsung, можно провести с GPU и CPU со сходной компоновкой и разработчики этих решений уже заинтересовались предложением компании.
Для самых нетерпеливых Samsung предлагает готовое решение в виде модулей AXDIMM DDR4 (Acceleration DIMM). Модули имеют буфер, который помогает обрабатывать данные в памяти, одновременно работая со всеми рангами DRAM на планке. Такой модуль устанавливается в обычный сервер в стандартный слот памяти. Всю работу - обработку данных в памяти с точностью FP16 с применением стандартных процедур TensorFlow и Python - модуль обеспечивает самостоятельно, а Samsung делает все возможное, чтобы обеспечить поддержку других программных инструментов.
Компания заявляет, что ее тесты (проведенные на рабочей нагрузке Facebook AI) показали увеличение производительности в 1,8 раза, снижение энергопотребления на 42,6 % и уменьшение задержки хвоста на 70 % с 2-ранговым комплектом. Все это повторим, без доработок в стандартном сервере, что, безусловно, впечатляет.
В мобильных платформах, если говорить о применении PIM с чипами LPDDR5 и подобной, использование вычислений в памяти принесет такой же ряд новых возможностей. Пока компания лишь моделирует такие процессы, но со временем они обещают появиться в ноутбуках и даже смартфонах. Например, для памяти LPDDR5X-6400 заявлено повышение производительности в 2,3 раза при рабочих нагрузках по распознаванию речи, в 1,8 раза при преобразовании перевода и в 2,4 раза при генерации текста GPT-2. Эти улучшения производительности сопровождаются снижением потребления в 3,85, 2,17 и 4,35 раза соответственно. Другой вопрос, когда это выйдет на рынок? Ведь эта технология пока не стала стандартом, утвержденным JEDEC.
