Instagram научит вас готовить с помощью нейросетей
Instagram научил нейросеть определять рецепты по фото блюд социальной сети. Теперь вы сможете не просто лицезреть красивые фото еды в Instagram, но и сможете ее приготовить. Разработчики теперь добавили ИИ, который будет подбирать рецепты к каждой фотографии.
Стоит отметить, что нейросеть будет разбирать блюдо на ингредиенты и на основе данных выбирать рецепт подходящего блюда. Данный алгоритм назвали Recipe1M, но самое интересное, что данный ИИ предсказывает даже не очевидные ингредиенты, такие как масло в составе круассана, то есть то, чего с первого взгляда не видно. Об этом сообщает Информатор Tech, ссылаясь на Facebook.
Таким образом нейросеть сначала составляет список ингредиентов, далее подбирает соответствующий рецепт, а также недостающие ингредиенты и действия, которые необходимо осуществить, чтобы получить готовый продукт.
«Система создания рецепта по изображении берет изображение еды и выводит рецепт, содержащий название, ингредиенты и инструкции по приготовлению. Этот метод начинается с предварительной подготовки кодера изображения и декодера ингредиентов, который предсказывает набор ингредиентов, используя визуальные особенности, извлеченные из входного изображения и совместного использования ингредиентов. Затем мы обучаем кодировщик ингредиентов и декодер команд, которые генерируют заголовок и инструкции, беря визуальные особенности изображения и предсказанные ингредиенты и вводя их в современную модель генерации последовательности», - пояснили разработчики.
Распознавание пищи бросает вызов существующим системам компьютерной обработки данных, выходящим за рамки просто виденья. По сравнению с естественным пониманием изображения визуальное предсказание ингредиента требует высокоуровневых расчетов и предварительных знаний, которые не привязаны к изображению, например, что в тесто для блинов добавляется молоко. Это создает дополнительные проблемы, так как пищевые компоненты имеют высокую внутриклассовую изменчивость, во время приготовления возникают сильные деформации, а ингредиенты часто включаются в приготовленное блюдо. Новая система ИИ от Facebook- первый шаг к развитию нейросетей нового поколения.
В будущем разработчики планируют расширить функционал ИИ и добавить, к примеру, счетчик калорий.
