Нейросеть нарисовала план квартиры и расставила в ней мебель
Французский разработчик научил алгоритм создавать планы помещений с расставленной в них мебелью. Автор опубликовал как описание алгоритма, так и его онлайн-версию, попробовать которую может любой желающий.
Одна из задач в области обработки изображений с помощью нейросетевых алгоритмов - так называемое междоменное преобразование объектов (image-to-image translation). Она заключается в том, чтобы поменять стиль картины, изменить время дня на снимке или провести другое преобразование изображения, оставив при этом его суть. В 2017 году такие алгоритмы получили относительно большую популярность благодаря алгоритму pix2pix, способному превращать наброски пользователя в фотореалистичные портреты.
Разработчик Станислас Шайю (Stanislas Chaillou), выпускник Федеральной политехнической школы Лозанны и Гарвардской школы дизайна, использовал pix2pix, чтобы рисовать планы помещений. Алгоритм, созданный им в рамках работы над магистерской диссертации, представляет собой конвейер, состоящий из трех отдельных моделей pix2pix, обученных на разных данных.
Схема работы алгоритма
Первая модель создает "след" от здания - его вертикальную проекцию. Она была обучена на данных о зданиях в Бостоне из геоинформационной системы. Датасет для обучения состоял из пар изображений, на одном из которых были контуры земельного участка, а на втором контуры здания на участке. В результате нейросеть научилась достаточно хорошо создавать изображение второго типа по изображению первого типа.
Вторая модель берет контур здания, полученный в результате работы первой модели, но также требует участия пользователя. Он должен нанести на план окна и вход. После этого нейросеть сама размечает на плане помещения, а также стены и проемы между ними. Кроме того, она также делит созданные ей помещения на типы, заливая их соответствующим цветом. Эту модель Шайю обучил на более чем 800 размеченных планах квартир.
Наконец, третья модель берет цветной план квартиры и наносит на него мебель, причем соответствующую типам комнат. К примеру, она не расположит в ванной комнате большой обеденный стол. Как и предыдущие алгоритмы, эта модель была обучена на парах исходных и конечных изображений, однако программист не уточнил, откуда он взял эти данные.
План квартиры автора заметки в представлении нейросети
Для демонстрации работы алгоритма Шайю разместил на своем сайте онлайн-версию алгоритма. Она позволяет самому нарисовать контуры квартиры и обозначить на ней вход и окна, после чего алгоритмы нарисуют на плане комнаты и мебель. При этом качество получаемого изображения достаточно низкое, особенно это касается мебели.
Ранее мы уже рассказывали о применении алгоритма pix2pix в архитектуре. В 2018 году программист из Саудовской Аравии представил браузерную реализацию этого алгоритма, способную в том числе создавать фотореалистичные изображения фасадов зданий на основе их схематичного представления.
