Sony работает над ИИ-персонажами, способными разговаривать с игроками

Sony работает над ИИ-технологией, которая позволит персонажам видеоигр взаимодействовать с игроками и поддерживать с ними разговор. Утечкой поделились в The Verge - видео с работой технологии прислал анонимный источник.

На видео с комментариями от директора по разработке ПО в Sony Interactive Entertainment показана прототип ИИ-версии Элой из Horizon Forbidden West - ей управляет ИИ, который также позволяет персонажу отвечать на вопросы игрока.

Видеоролик выложили на YouTube, но после публикации The Verge, его удалили из-за иска о нарушении авторских прав PlayStation.

На видео показали только прототип технологии, над которой работают в Sony. «Это всего лишь проблеск того, что возможно», - говорит директор по разработке ПО.

«Эта техническая демонстрация не отвечает на более очевидные вопросы о том, имеет ли вообще смысл разговаривать с Элой, когда вы должны играть за нее в Horizon Forbidden West, или какое влияние такая технология может оказать на актеров озвучивания и разработчиков игр» - The Verge

Для работы прототипа используются несколько ИИ-моделей:

• Whisper от OpenAI для преобразования речи в текст;
• GPT-4 и Llama 3 для разговоров и принятия решений;
• Собственная система Sony синтеза эмоциональной речи (EVS), которая используется для генерации речи;
• Анимация лица на основе аудио выполняется с помощью собственной технологии Sony под названием Mockingbird.

Демонстрацию для видео проводили на ПК, но, по словам специалистов Sony, компания также работает над запуском технологии непосредственно на PS5.