В рамках проекта pix2code развивается генератор кода по изображению интерфейса на скриншоте
Группа исследователей в области искусственного интеллекта анонсировала проект pix2code, в рамках которого развивается идея по созданию генератора кода, воссоздающего макет интерфейса пользователя, предложенного на скриншоте. По мнению разработчиков проект упростит работу дизайнеров интерфейса, который смогут реализовывать свои задумки в форме графических макетов, а pix2code даст возможность сформировать на основе предложенных картинок готовый каркас кода, требующий минимальный правок для создания рабочего прототипа приложения.
В процессе генерации кода используется абстрактный предметно-ориентированный язык, который затем преобразуется в представление на языке целевой системы. Данный подход позволяет генерировать код для построения интерфейса для различных платформ и языков. В данный момент обеспечена поддержка воссоздания кода для web-приложений и мобильных приложений для платформ iOS и Android.
В основе pix2code лежит система машинного обучения, натренированная на реальных образцах приложений. Модель для обучения построена на основе примерно 90 тысяч примеров мобильных приложений и 140 тысяч примеров web-интерфейсов. На текущей стадии разработки уже удалось добиться воссоздания интерфейса на основе скриншота с 77% точностью. В ближайшее время связанные с проектом наборы данных и готовую модель для генерации кода планируется опубликовать на GitHub под лицензией Apache 2.0.
