Разработана программа, определяющая рецепт блюда по фотографии

Если вы увидели вкусное блюдо на фотографии и хотели бы узнать его рецепт, то новая разработка лаборатории искусственного интеллекта Массачусетского технологического института (CSAIL) может вам помочь. Совместно с катарским Институтом компьютерных исследований Институт (QCRI) команда CSAIL разрабатывает систему искусственного интеллекта под названием Pic2Recipe, которая может определить ингредиенты блюда по его фотографии, а также предложить рецепты похожих блюд.

Интернет является чрезвычайно ценным инструментом для ученых, потому что он предоставляет им готовый источник слов, изображений и аудио для создания разного рода баз данных. Такие веб-данные в последние годы привели к значительному прогрессу в развитии программного обеспечения для распознавания речи, голосовых интерфейсов и искусственного интеллекта. Но когда дело доходит до еды, то в этой области технологии пока отстают.

"В области компьютерного распознавания, едой в основном пренебрегают, потому что у нас нет крупных наборов данных, необходимых для составления прогнозов", - говорит Юсуф Айтар из Массачусетского технологического института: "Но, казалось бы, бесполезные фотографии в социальных медиа могут действительно предоставить ценную информацию о различных блюдах."

Исследователи разрабатывают базу данных, содержащую более миллиона изображений различных блюд, а также алгоритмы, необходимые для распознавания фотографий. Они создают свою базу путем загрузки информации в искусственную нейронную сеть под названием Pic2Recipe, которая анализирует изображения и находит закономерности, которые позволяют ей устанавливать связь между едой и рецептами.

Пока что Pic2Recipe лучше всего работает с десертами, такими как печенье или кексы, а сложнее всего для нейросети определять состав суши, смузи и коктейлей. Сейчас исследователи работают над тем, чтобы система могла определять не только ингредиенты, к примеру, чтобы определяла, что надо сделать с помидорами: просто порезать их кубиками или еще и потушить.

Более подробно результаты исследования будут представлен в этом месяце на научной конференции в Гонолулу.