Sony работает над ИИ-персонажами, способными разговаривать с игроками

Sony работает над ИИ-технологией, которая позволит персонажам видеоигр взаимодействовать с игроками и поддерживать с ними разговор. Утечкой поделились в The Verge - видео с работой технологии прислал анонимный источник.
На видео с комментариями от директора по разработке ПО в Sony Interactive Entertainment показана прототип ИИ-версии Элой из Horizon Forbidden West - ей управляет ИИ, который также позволяет персонажу отвечать на вопросы игрока.
Видеоролик выложили на YouTube, но после публикации The Verge, его удалили из-за иска о нарушении авторских прав PlayStation.
На видео показали только прототип технологии, над которой работают в Sony. «Это всего лишь проблеск того, что возможно», - говорит директор по разработке ПО.
«Эта техническая демонстрация не отвечает на более очевидные вопросы о том, имеет ли вообще смысл разговаривать с Элой, когда вы должны играть за нее в Horizon Forbidden West, или какое влияние такая технология может оказать на актеров озвучивания и разработчиков игр» - The Verge
Для работы прототипа используются несколько ИИ-моделей:
- Whisper от OpenAI для преобразования речи в текст;
- GPT-4 и Llama 3 для разговоров и принятия решений;
- Собственная система Sony синтеза эмоциональной речи (EVS), которая используется для генерации речи;
- Анимация лица на основе аудио выполняется с помощью собственной технологии Sony под названием Mockingbird.
Демонстрацию для видео проводили на ПК, но, по словам специалистов Sony, компания также работает над запуском технологии непосредственно на PS5.