Новые графические процессоры на архитектуре NVIDIA Pascal
NVIDIA представила новейшие решения для платформы глубокого обучения на базе архитектуры Pascal - графические ускорители NVIDIA Tesla P4 и P40 и программное обеспечение, которое значительно ускоряет и оптимизирует анализ информации для сервисов, использующих искусственный интеллект (ИИ).
Современные сервисы ИИ, такие, как активируемая голосом помощь, почтовые фильтры спама и движки генерации рекомендуемых фильмов и продуктов, становятся все сложнее. Нейронным сетям, которые для них нужны, требуется в 10 раз больше вычислений по сравнению с нейронными сетями еще год назад. Современные центральные процессоры не способны оперативно реагировать на запросы сервисов ИИ, что не лучшим образом сказывается на возможностях пользователей.
Ускорители Tesla P4 и P40 специально созданы для ускорения операций инференса - применения обученных глубоких нейронных сетей для распознавания речи, изображений и текста в ответ на запрос пользователей или устройств. Основанные на архитектуре Pascal, новые графические процессоры использую специальные инструкции инференса на базе 8-битных (INT8) данных, обеспечивая ответную реакцию в 45 раз быстрее по сравнению с CPU и в 4 раза быстрее по сравнению с GPU, представленными меньше года назад.
Ускорители Tesla P4 отличаются высочайшей экономичностью и предназначены для гипермасштабируемых дата-центров. Благодаря малым размерам и низкому энергопотреблению (от 50Вт), они подходят для любых серверов, что делает их в 40 раз экономичнее центральных процессоров в задачах использования результатов обучения нейронных сетей при обработке данных. Сервер с одним Tesla P4 может заменить 13 серверов на базе CPU, предназначенных для анализа данных, что сокращает общую стоимость владения в 8 раз, включая затраты на сервер и электричество.
Tesla P40 обеспечивает максимальную пропускную способность для задач глубокого обучения. С производительностью в 47 тера-операций в секунду (TOPS) с инструкциями INT8 сервер с восемью ускорителями Tesla P40 может заменить 140 серверов на базе CPU. С учетом средней стоимости одного сервера с CPU порядка $5000, общая экономия составит более $650 000.
"В лице Tesla P100, а теперь и Tesla P4 и P40, компания NVIDIA предлагает единственную комплексную платформу глубокого обучения для дата-центров, раскрывая огромные возможности искусственного интеллекта для решения самого широкого круга задач, - говорит Ян Бак (Ian Buck), директор по ускоренным вычислениям в NVIDIA. - Новые процессоры сокращают время обучения нейронных сетей с нескольких дней до нескольких часов. Они позволяют мгновенно извлечь данные из анализируемых материалов. И они выдают ответы в реальном времени пользователям сервисов ИИ".
Решения Tesla P4 и P40 дополняют два новых программных продукта, предназначенных для ускорения работы ИИ-сервисов: NVIDIA TensorRT и NVIDIA DeepStream SDK.
TensorRT - это библиотека, созданная для оптимизации моделей глубокого обучения, которая обеспечивает мгновенную ответную реакцию для самых сложных сетей. Она увеличивает пропускную способность и эффективность приложений глубокого обучения путем оптимизации обученных нейронных сетей - обычно в форме 32-битных или 16-битных операций - для операций INT8 пониженной точности.
NVIDIA DeepStream SDK использует мощь сервера на базе решений на архитектуре Pascal для одновременного декодирования и анализа до 93 видеопотоков в разрешении HD в реальном времени, в отличие от семи потоков в случае с серверами на базе двух CPU(6). Это позволяет решить одну из сложнейших задач в области применения искусственного интеллекта: восприятие масштабируемого видеоконтента - что является критически важным для таких областей применения ИИ, как самоуправляемые автомобили, интерактивные роботы, фильтрация и размещение рекламы. Интеграция глубокого обучения в видеоприложения позволит компаниям создавать умные инновационные сервисы, которые раньше были просто невозможны.
