Facebook анонсировал проект обучения искусственного интеллекта по видео, снятого от первого лица
Facebook в четверг объявил об исследовательском проекте, в ходе которого было собрано 2200 часов видеоматериалов от первого лица со всего мира для обучения моделей искусственного интеллекта следующего поколения.
Проект называется Ego4D, и он может оказаться решающим для подразделения Reality Labs Facebook, работающего над многочисленными проектами, которые могут извлечь выгоду из моделей искусственного интеллекта, обученных с использованием видеоматериалов, снятых с точки зрения человека.
Проект включает в себя умные очки, такие как Ray-Ban Stories, выпущенные Facebook в прошлом месяце, и виртуальную реальность, в которую Facebook вложил значительные средства с момента приобретения Oculus за 2 миллиарда долларов в 2014 году.
Видеокадры могут научить искусственный интеллект понимать или идентифицировать что-то в реальном или виртуальном мире, то что пользователь сможет увидеть от первого лица через очки или гарнитуру Oculus.
Facebook заявил, что сделает набор данных Ego4D общедоступным для исследователей в ноябре. Набор данных может быть использован в моделях ИИ, используемых для обучения таких технологий, как роботы, более быстрому пониманию мира.
"Традиционно робот учится, делая что-то в мире или буквально будучи портативным, когда ему показывают, как и что делать", - сказала Кирстен Грауман, ведущий научный сотрудник Facebook. "Есть возможности для того, чтобы они могли учиться на видео, используя только наш собственный опыт".
Facebook и консорциум из 13 университетов-партнеров использовали более 700 участников из девяти стран для съемки видео от первого лица.
Facebook утверждает, что Ego4D содержит более чем в 20 раз больше часов видеоматериалов, чем любой другой набор данных такого рода. Среди университетских партнеров Facebook были Карнеги-Меллон в США, Бристольский университет в Великобритании, Национальный университет Сингапура, Токийский университет в Японии и Международный институт информационных технологий в Индии.
Кадры были отсняты в США, Великобритании, Италии, Индии, Японии, Сингапуре и Саудовской Аравии. Facebook заявил, что надеется расширить проект на большее количество стран, включая Колумбию и Руанду.
"Важным дизайнерским решением для этого проекта является то, что нам нужны партнеры, которые в первую очередь являются ведущими экспертами в этой области, заинтересованы в этих проблемах и мотивированы их решать, но также имеют географическое разнообразие", - сказала Грауман.
Анонс Ego4D произошел в интересное время для Facebook. Компания неуклонно наращивает свои усилия в области аппаратного обеспечения. В прошлом месяце она выпустила свои первые умные очки Ray-Ban Stories. А в июле Facebook объявил о формировании продуктовой группы, которая будет работать конкретно над "метавселенной", которая представляет собой концепцию, предполагающую создание цифровых миров, в которых могут одновременно проживать несколько человек.
Кадры для нового проекта Facebook были сняты с помощью стандартных устройств, таких как камеры GoPro и умные очки Vuzix.
Facebook сообщил, что из соображений конфиденциальности участникам было дано указание избегать улавливания личных опознавательных характеристик при сборе видеоматериалов в помещении. Сюда входят лица людей, разговоры, татуировки и украшения. Facebook также заявил, что удалил личную информацию из видео, а также размыл лица прохожих и номерные знаки транспортных средств. По заявлению компании, звук также был удален из многих видеороликов.
