В Google создали алгоритм, легко меняющий реальный фон на видео
В корпорации Google разработали алгоритм замены реального фона видео на другой. Технология на основе нейросетей уже способна обрабатывать видео в реальном времени даже на мобильных устройствах.
Новая функция уже доступна части пользователей мобильного приложения YouTube. Об этом сообщается в блоге Google Research.
Замену фона часто применяют при съемке современных фильмов или сериалов. Обычно для этого применяют хромакей - технологию, при которой актеры снимаются на ярком зеленом или синем фоне, после чего на этот фон в видеоредакторе накладывается другое изображение. Эта технология удобна для съемки больших проектов, но для повседневного использования обычными людьми плохо подходит, поскольку требует как наличия самого зеленого экрана для фона, так и навыков обработки подобного контента. Помимо этого также существуют технологии автоматического компьютерного вырезания фона, но большинство из них имеет низкое качество конечного изображения или требуют большой вычислительной мощности.
Теперь для этого не требуется зеленый экран.
Разработчики из Google создали нейросетевой алгоритм для замены фона в реальном времени, который подходит даже для мобильных устройств. Они взяли за основу предложенную ранее архитектуру сверточной нейросети, разработанную именно для сегментации изображений. Поскольку задача заключалась в том, чтобы нейросеть могла работать в реальном времени на обычных смартфонах, разработчики оптимизировали нейросеть, снизив количество каналов на среднем уровне сети более, чем в 10 раз.
Суть работы нейросети сводится к стандартной процедуре сегментации на объект и фон. Для того, чтобы увеличить временную согласованность соседних кадров программисты добавили к трем каналам (красный, зеленый, синий) еще один, представляющий собой предыдущий сегментированный кадр.
Анимация: research.googleblog.com
Видео: youtube.com/ANI News Official
