Стартап Cerebras представил «самый быстрый в мире» ИИ-процессор с 4 трлн транзисторов
Американский стартап Cerebras Systems презентовал Wafer Scale Engine 3 - специализированный чип для обучения передовых моделей искусственного интеллекта. Разработчики утверждают, что соотношение производительность/энергопотребление у WSE-3 вдвое лучше, чем у предшественника.
Ключевые характеристики Wafer Scale Engine 3:
- 4 трлн транзисторов и 900 000 ядер;
- 5-нм техпроцесс TSMC;
- 44 ГБ встроенной SRAM-памяти и до 1,2 ПБ (петабайт) внешней памяти;
- Производительность на уровне 125 петафлопс в пиковом режиме;
- Пропускная способность - 21 Пбайт/с.
Чип представляет собой пластину площадью 462 см², то есть чуть больше, чем iPad Pro 11". Процессор устанавливается в виде основе для вычислительной платформы Cerebras CS-3 с энергопотреблением 23 кВт. CS-3 вчетверо мощнее платформы Nvidia DGX с 16 ускорителями H100, если считать по операциям FP16 (числа с плавающей запятой размером 16 бит).
Архитектура позволяет озадачить CS-3 обучением моделей размером до 24 трлн параметров без сегментации. Для сравнения, размер модели OpenAI GPT-4 - 1,7 трлн параметров. На настройку модели с 70 млрд параметров у CS-3 уйдет один день.
