Холодильники начнут узнавать нас в лицо: Sony предлагает датчики изображений с ИИ
Лидер производства датчиков изображений компания Sony предчувствует насыщение этой продукцией главного потребителя? рынка смартфонов. Компании нужны новые направления для сбыта датчиков. Этим направлением может стать рынок умных вещей с функциями эффективного отслеживания людей и объектов.
По мнению Sony, развитие сферы Интернета вещей упирается в ряд ограничений: это высокие задержки при обращении к облаку (которые только будут расти); предпосылки для нарушения приватности (плохо контролируемый рост утечек из облака); и увеличение энергопотребления (на канал связи и удаленные ресурсы). Всего этого можно избежать или значительно ослабить влияние этих факторов, если в каждый датчик изображения встроить свой ИИ. Тогда данные будут обрабатываться в режиме реального времени прямо в датчике без обращения к облаку.
Первой продукцией Sony в области датчиков изображений с ИИ стал 12,3-Мп сенсор IMX500, опытные поставки которого начались в апреле. Цена вопроса 10 тыс. иен ($93). Это стоимость сборки без упаковки. В корпусе чип будет предлагаться в виде микросхемы IMX501 по 20 тыс. иен ($186). Разницу между одним и другим исполнением можно увидеть на фото выше.
IMX500 состоит из собранных в стек двух кристаллов. Верхний кристалл? это датчик изображения диагональю 7,857 мм (в формате 1/1,23), а нижний? это чип с памятью, блоком ИИ и цифровым сигнальным процессором. Данные с датчика изображения попиксельно передаются на нижний чип и полностью на нем обрабатываются.
Сценарии использования датчиков изображения с ИИ
Обработка ведется в зависимости от записанной в память чипа модели для машинного обучения, а также по заранее определенному алгоритму. Это может быть подсчет количества людей в кадре, определение поведения людей в кадре (анализ поз и жестов), анализ скопления людей с помощью инфракрасного сканирования, слежение за товарами на полках магазинов, определение момента засыпания водителя, реакция на конкретного человека и многое другое.
Модели обучения и алгоритмы могут быть переписаны по необходимости. Например, можно распределять обязанности даже между одинаковыми камерами наблюдения. Одна на входе подсчитывает посетителей, другая наблюдает за тем, что граждане делают в магазине, третья следит, чтобы на полках всегда был товар и так далее. Что во всем этом важно, данные остаются локально в датчике, а это обеспечивает приватность и защиту от утечек. Наружу для анализа выводятся метаданные? короткие текстовые (семантические) сообщения с выводами или графиками после анализа встроенным ИИ. Эти данные не перегрузят каналы связи и не нагрузят облачные ресурсы. Впрочем, датчик позволяет также передавать обычные изображения и распознанные образы.
Обработка данных в кадре встроенным ИИ проводится мгновенно. Например, с использованием сверточной нейросети MobileNet V1.2 данные в кадре обрабатываются за 3,1 мс. Предложенная Sony система способна с высокой эффективностью следить за подвижными объектами в режиме реального времени. Вот оно будущее.
