Как работает распознавание рукописного ввода в iPadOS 14 и зачем оно нужно
Scribble (в переводе "каракули" или "мазня") представили на WWDC очень достойно. Эту технологию заметили, но объявление Mac с Apple Silicon затмило ее. Между тем, это едва ли не самая важная новость из всех объявленных в тот день. Возможно, уже через несколько лет, вспоминая первую виртуальную WWDC в истории Apple, именно Scribble назовут ее главным событием - а про Apple Silicon и COVID если и вспомнят, то между прочим, как фон. "Яблочно-силиконовые" Mac’и станут повседневной обыденной реальностью, на смену COVID, хоть в это и не верится, не придет новая и еще более неприятная мерзость - а умные карандаши все еще будут открывать в себе что-то новое и необычное, каждый год.
Что такое Scribble
Apple Pencil обязательно изменятся, потому что у главной составляющей технологии Scribble очень серьезные потребности. С ее точки зрения "словарь" первых и вторых Apple Pencil слишком беден и маловыразителен. Главная составляющая - это искусственный интеллект. Помимо умных карандашей, Scribble создают нейронные процессоры. Если бы не этот блок яблочных кристаллов, чуда не случилось бы.
Apple Newton, PalmPilot и другие PDA седой древности пытались его совершить слишком рано. В то время это было невозможно, но благодаря изобретательности и авантюризму инженеров и ученых рукописный ввод, хоть и не идеально и не всегда, но работал. Если делать все по-настоящему, распознавать нашу мазню ничуть не проще, чем человеческую речь. За легкостью и непринужденностью Scribble годы труда и сложнейшие алгоритмы. А кое-в-чем Scribble даже превосходит Siri, Alexa и остальных голосовых ассистентов, не говоря уже про архаичные системы распознавания рукописного ввода.
Как работает распознавание рукописного ввода iPad
Этот же вопрос возник и у Алекса Джорджа, журналиста из Popular Mechanics, и он попросил ответить на него старшего вице-президенту Apple по программному обеспечению Крейга Федериги. Крейг быстро и подробно ответил. Верите? Но кто бы не инициировал это выступление Крейга, рассказанное им очень интересно. Ниже его ответ, в пересказе.
В отличие от прежних технологий распознавания рукописной речи, Scribble анализирует не отдельные рукописные символы, а строки и даже группы строк. В процессе машинного обучения программное обеспечение Scribble обучили иметь дело с разными почерками и особенностями письма огромного числа людей. Кроме этого, Крейг раскрыл только одну тайну главной составляющей Scribble и назвал ее ключом к успеху: распознавание рукописного ввода полностью, от начала и до конца, выполняется на iPad, в реальном времени. Без участия дата-центров и серверов Apple. Без какой-либо передачи данных. В отличие от голосовых ассистентов, которые все еще не могут обойтись без этого.
Обучение Scribble иностранным языкам требует времени, из-за чего в настоящее время он владеет только английским, а также двумя диалектами китайского языка, пекинским (литературным) и гуанчжоусским (кантонским). А вот русскому Scribble обучат, видимо, очень нескоро.
Кроме рукописного текста, Scribble воспринимает и приводит к красивому виду еще и немаленький набор геометрических фигур, позволяет работать с текстом (дублировать, удалять, править текст с помощью карандаша и тому подобное).Пока еще рано говорить о Scribble как о новой парадигме пользовательского интерфейса, и в самой технологии все еще достаточно недоработок (это версия 1.0), но рано или поздно Scribble превратится в полноценный третий тип интерфейса. Потенциал у него для этого есть.
