Google представила нейромодель Gemini 1.5 с рекордным размером контекста
Google представила первое большое обновление семейства больших языковых моделей (LLM) Gemini. Версия Gemini 1.5 отличается кратно увеличенным размером контекста.
Контекстное окно модели Gemini 1.0 Pro составляло 32 000 токенов - то есть единиц информации, которыми оперирует нейросеть. Возможности Gemini 1.5 Pro расширены до 128 000 токенов (аналогично GPT-4 Turbo от OpenAI), но ограниченная группа разработчиков и корпоративных клиентов теперь могут взаимодействовать с версией Gemini 1.5 Pro с размером контекста 1 млн токенов. В переводе на понятные единицы - около 1 часа видео, 11 часов аудио или 700 000 слов. Этого хватит, например, для анализа сценариев всей трилогии «Властелин колец».
От размера контекста зависит, какой объем информации нейромодель способна обработать, проанализировать и «запомнить». Чем больше контекстное окно, тем точнее работа алгоритма. В Google говорят, что Gemini 1.5 Pro обеспечивает качество, сопоставимое с флагманской моделью Gemini 1.0 Ultra, при этом использует меньше вычислительных ресурсов. Улучшенная модель превосходит Gemini 1.0 Pro в 87% бенчмарк-тестов.
Еще одно улучшение в Gemini 1.5 Pro - более эффективный архитектурный подход, Mixture-of-Experts (MoE). Смысл в том, что параметры модели делятся на несколько «экспертных» групп. И например, в задаче перевода текста запускается не вся модель целиком, а только подходящая под запрос группа.
В будущем Gemini 1.5 Pro с контекстом 128К заменит версию 1.0 в сервисе gemini.google.com и в мобильных приложениях Google. За модель с контекстом 1M придется доплатить.
