C помощью нейросетей съемка Нью-Йорка 1911 года превращена в цветное видео 4k/60p
В 1911 году шведская компания Svenska Biografteatern сделала видеозапись поездки в Нью-Йорк, в результате чего было получено более восьми минут видео, которое в своем первоначальном виде имеет довольно слабое разрешение и низкую нестабильную частоту кадров.
В течение ряда лет предпринимались различные попытки улучшить разрешение, частоту кадров, цвета и другие детали. Результаты получались разные, но одним из лучших на сегодня стала работа Дениса Ширяева (Denis Shiryaev), который недавно поделился улучшенным видео на Reddit и своем канале YouTube.
Видео Нью-Йорка 1911 года в 4K/60p
Согласно описанию видео, а также комментарию, оставленному Ширяевым в Reddit, в проекте были задействованы четыре нейронные сети, включая DeOldify NN (для колоризации). В целом, различным нейронным сетям удалось увеличить частоту кадров до 60 в секунду, поднять разрешение до 4K, повысить резкость и даже провести автоматическое оцветнение.
Исходное видео Нью-Йорка 1911 года с наложением озвучки и откорректированной скоростью воспроизведения
Результат куда лучше оригинала, однако с автоматическим оцветнением нейросеть явно не справилась. Наложенные звуки позволяют глубже погрузиться в атмосферу деловой столицы США более чем 100-летней давности. Мы уже писали о том, как Денис Ширяев визуально улучшил знаменитую короткометражку братьев Люмьер "Прибытие поезда" 1896 года. На его канале есть и другие любопытные работы, включая лунную миссию "Аполлона-16":
