Как функционирует распознавание лиц в мобильных устройствах

Почему мы выбираем разблокировку по лицу

В недавние годы идентификация лиц превратилось в одной из самых распространённых опций для разблокировки умных телефонов. Еще пару годов назад основная часть юзеров довольствовались PIN-кодами, секретными кодами или сканерами отпечатков пальцев. Но с появлением таких технологий, как admiral x, нам вполне лишь взглянуть на экран — и аппарат тут же узнает своего владельца.

Что делает эту функцию очень нужной? Прежде всего, это практично: не нужно помнить трудные пароли или искать верный палец в тьме. Кроме того, это быстро: современные системы распознают лицо фактически за мгновения ока. В-третьем пункте, это ощущение будущего — будто в фильмах про адмирал x шпионов.

Однако за данной видимой несложностью прячется весь вселенная трудных технологий и инженерных концепций. Попробуем понять, как конкретно действует распознавание лиц в актуальных гаджетах, какие применяются способы, насколько они надёжны и что нас ожидает в будущем.

Короткая история прогресса техники

Идентификация лиц как техника присутствует уже более 50 годов. Изначальные попытки машинного исследования лица были осуществлены еще в 1960-х годы в исследовательских центрах США. Тогда ЭВМ способны были лишь выделять очертания черепа и вычислять дистанции между зрачками и губами на черно-белых снимках.

Начальные торговые установки стали доступны в девяностых годах, но они были неидеальны: функционировали медленно и часто ошибались. Только с развитием нейронных сетей и таких систем, как адмирал х, высокопроизводительных мобильных чипов распознавание лиц стало по-настоящему массовым явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый широкодоступный смартфон с достоверным трёхмерным идентификацией лица. За этим последовали Android-изготовители: Samsung, Huawei, Xiaomi и прочие стали интегрировать свои разработки.

Главные этапы работы устройства определения

Процесс распознавания лица можно ориентировочно сегментировать на несколько важных этапов:

1. Обнаружение лица — камера выявляет присутствие человеческого лица в изображении.
2. Выделение признаков — механизм исследует контуры лица: форму глаз, обонятельного органа, уст, положение надбровных дуг.
3. Построение шаблона — создаётся особенный электронный отпечаток (faceprint) на основе определённых признаков.
4. Сравнение со стандартом — сформированный образец сопоставляется со сохранённой при регистрации биометрической сведениями владельца.
5. Принятие выбора — если сходство достаточно существенное, смартфон открывается.

Любой из указанных стадий запрашивает индивидуальных методов и оптимизаций для быстрой работы прямо на устройстве.

Железные компоненты: что скрыто внутри

Стандартная передняя камера.

Самый простой простой вариант идентификации облика использует лишь переднюю камеру мобильного устройства. Такой метод реализован во различных недорогих моделях Android-девайсов.

Положительные стороны:

• Необходимо нуждается в дополнительных сенсоров.
• Шустро работает при хорошем освещении.

Отрицательные стороны:

• Легко одурачить снимком или роликом.
• Плохо работает при низком свете или необычных ракурсах.

Инфракрасная фотокамера и пунктирный проекционный аппарат

Более продвинутые системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта техпроцесс является основой Face ID от Apple.

Каким образом это работает:

• Точечный устройство проекции отображает на физиономию пользователя невидимую сетку из тысяч инфракрасных точек (например, Face ID использует около 30 000 пятен).
• ИК камера регистрирует изменение формы данной сетки по плоскости физиономии.
• Получается 3D карта глубины глубинности, что почти невозможна для имитации типичной фотографией или маской.

Преимущества

• Надёжная работа даже в полной неосвещённости.
• Высокая защита к имитациям.
• Точность определения более 99%.

Дополнительные датчики

В некоторых устройствах задействуются также экстра сенсоры: ToF (Time-of-Flight), которые определяют время движения луча до цели и обратно; Цветные-датчики глубины; специальные лазерные измерители расстояния для создания более детализированной 3D-модели лица.

Эти технологии применяются в основном во топовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные алгоритмы: искуственный интеллект в действии

Нынешние системы опознания лиц невозможны без эксплуатации искусственного интеллекта и machine learning. Именно вследствие таким разработкам, как адмирал х, устройство в состоянии идентифицировать юзера даже при трансформациях внешнего вида: новая стрижка, растительность на лице, линзы или грим не становятся препятствием для разблокировки.

Обнаружение лиц

В начальном шаге программа должна оперативно распознать ликовое изображение среди всего кадра с камеры. Для этого используются каскадные классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые “обучены” идентифицировать лица людей среди множества других объектов.

Пример: алгоритм MTCNN способен обнаруживать физиономию даже в случае неполном перекрытии (например, платком или ладонью).

Идентификация основных точек

После идентификации лица система, такая как адмирал х, вычисляет местоположение главных точек: края глаз, конец носа, контуры губ и так далее. Как правило используется от 68 до 128 ключевых меток на лице.

Данное нужно для выравнивания визуала: если человек находится с мобильник под наклоном, или склонил головку, программа исправляет картинку до обычного угла для последующего изучения.

Формирование биометрического идентификатора модели

Далее искусственная сеть строит уплотненное числовое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой след внешности длиной от 128 до 512 флоатов.

Данный образец весьма трудно подделать: он не удерживает непосредственно картинку юзера, а лишь особенные черты его облика, что делает его идеальным для таких платформ, как admiral-x.

Сравнение и вынесение выбора

Когда юзер желает открыть смартфон взглядом, система осуществляет все описанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает установленный границу (обычно выше 99%), телефон, как и платформа admiral-x, разблокируется; если нет — доступ не предоставляется.

Приспособление к трансформациям внешнего вида

Интересная особенность актуальных систем — возможность самостоятельного обучения. Если ты регулярно открываете мобильное устройство с новой стрижкой или оптикой, алгоритм постепенно модернизирует основной образец вашего лица для повышения точности работы без ухудшения безопасности.

Защита биометрических информации.

Многие юзеры боятся сохранять свои биометрические данные на смартфоне из-за вероятности утечки данных или взлома гаджета. Определенные компании, такие как admiral-x, предлагают решения для повышения сохранности информации клиентов.

• Локальное сохранение: Основная часть устройств хранит биометричные образцы лишь внутрь безопасного процессора Secure Enclave (Apple) или TrustZone (Android). Они всегда не выходят из аппарат и недоступны в том числе изготовителю.

• Шифрование: Все данные сберегаются только в кодированном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция программ: Приложения внешних разработчиков не обладают непосредственного возможности доступа к биометрическим; они могут лишь требовать факт подтверждения личности через системный API.

Стоит упомянуть важную особенность: в случае, если кто-либо достанет физический доступ к вашему телефону (к примеру, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество изготовители осуществляют систему защиты от автоматического разблокирования — в частности, требуют раскрыть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют существуют виды определения лиц на изображениях?

На сегодняшний день можно определить выделить три главных способа к выполнению этой задачи:

Программируемое 2D определение

Эксплуатируется только лицевая камера без экстра детекторов дистанции. Этот способ наблюдается наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: легкость реализации; минимальная цена; скоростная функционирование при хорошем свете.
Минусы: просто одурачить фотографией; нестабильная деятельность ночью; недостаточная безопасность.

Оборудование для объёмное сканирование

Использует ИК видеокамеру + проектор точек + датчики глубины (Face ID от Apple; аналогичные технологии у Huawei Mate).
Достоинства: большая надежность; не получится подделать фото/видео; устойчивая функционирование в любых условиях освещения.
Минусы: повышение стоимости устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Гибридные способы с интеграцией ИИ

Задействуют комбинацию софтверных методов + аппаратную обработку + дополнительную обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, такие продукты, например адмирал х и Google Pixel Face Unlock современных версий, объединяют фронтальную камеру c инфракрасным датчиком движения Soli Radar для защиты от подделок руками/масками/видеодисплеями посторонних устройств.

Иллюстрации применения разнообразных техник

• iPhone модели X/11/12/13/14 используют только физическое трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition первый раз предложил эквивалент Face ID в числе Android.
• Samsung Galaxy S10/S20 имеют как программное обеспечение двухмерное определение по фото фронтальной камерой, так и сканер радужки глаза.
• Huawei Mate20 Pro применяет систему из ИК-подсветки + Dot Projector + ToF-сенсорный элемент

Вопросы безопасности и ошибочные срабатывания

Несмотря на поразительный успехи инноваций за прошедшие лет, совершенных механизмов пока не имеется:

1. Шанс подвоха: Бюджетные смартфоны просто открываются высококачественной фотографией владельца или же видео с дисплея иного гаджета.
2. Идентичные близняшки: Даже самые безупречные системы могут спутать между монозиготными близнецами либо родичами с очень похожей внешностью.
3. Метаморфозы внешности: Стремительное похудение/набор веса, пластические операции или повреждения в некоторых случаях необходимы для обновления данных биометрии.
4. Условия фотографирования: Сильная освещённость солнечным светом либо интенсивная затенение могут снизить верность идентификации признаков.

Вот некоторые рекомендаций по надёжному использованию:

• Для критически важных операций всегда внедряйте двухфакторную аутентификацию;
• Не запускайте функцию “Разблокировка по лицу” на дешёвых аппаратах без ИК-сенсоров;
• Систематически апгрейдите ПО смартфона для защиты от новых видов атак;
• Включайте настройку “Требовать распахнутых глаз” везде, где она имеется.

Где также находится применение технологии помимо мобильных телефонов?

Несмотря на то, что тема этой публикации посвящена именно портативным гаджетам, следует отметить альтернативных областях использования технологии:

• Управление входа в офисах и жилых домах;
• Платёжные аппараты финансовых учреждений (“Face Pay”);
• Виртуальные удостоверения личности нового типа;
• Системы видеомониторинга муниципальных служб;
• Автоматизация учёта явки школ/институтов;
• Вход участников компьютеров/ноутбуков.

Например: В городском метро уже проверяется система оплаты проезда по лицу (“Face Pay”) — нужно лишь пройти через турникет без карты или телефона! Похожие проекты развиваются в Китае (Шэньчжэнь), Республике Корея и ряде стран Европы.

Каким образом трансформируется технология в нынешнее время?

Любой годик проявляются современные мысли для усовершенствования стандарта функционирования систем идентификации лиц:

1. Увеличивается разрешение сенсорных устройств — чем больше элементов фиксируется камерой/датчиками глубины, тем меньше риск неточности;
2. Совершенствуются нейросети — новейшие архитектуры вида MobileNetV3 дают возможность скоростно осваивать новым чертам вида обладателя прямо на устройстве без пересылки информации в облачное хранилище.
3. Совершенствуются технологии антиспуфинга — теперь мобильные устройства способны распознавать реальные анимированные лица от фиксированных снимков/масок по мельчайшим движениям кожи.
4. Взаимодействие со умными устройствами — смарт-часы могут автоматически заблокировать смартфон, если владелец отошёл далеко.
5. Проявляются гибридные системы — к примеру совмещающие голосовую аутентификацию + лицо + отпечаток пальца.

Вот, какие тренды очень востребованы сейчас:

1) Уменьшение компонентов

Изготовители намереваются уменьшить габариты выреза (“чёлки”) под датчики на экране за счёт встраивания компактных ИК-излучателей прямо под стекло дисплея либо высувных модулей камеры.

2) Обработывание прямо на устройстве

Для повышения приватности всё больше обработки данных происходит локально без отправки информации во сторонний облачный сервис.

3) Унификация стандартов

Гугл энергично продвигает норму BiometricPrompt API, чтобы аналогичные платформы, как admiral x, и все Android-приложения были совместимы с любыми видами биометрии унифицированно.

Что решить сегодня?

В случае если тебе необходима предельная безопасность данных, подбирайте флагманские модели с интегрированным ИК-излучателем или ToF-датчиком глубины.

• iPhone каждого актуальных поколений
• Huawei Companion/P серии
• Mi Professional
• Vivo X линейки
• Оппо Find X серии.

Если средства ограничен – лучше предпочесть обычным методам безопасности (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в admiral x, задействовать только как второстепенную возможность удобства.

Как увеличить комфорт работы опции?

Есть некоторые лайфхаков для пользователей, кто уже применяет разблокировку через лицо:

1. Периодически обновляйте свою изображение-шаблон, если сильно изменяется внешний вид.
2. Не пренебрегайте чистить объектив фронтальной камеры – разводы могут уменьшить точность!
3. Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – в результате смартфон сам запускает фотоаппарат если вы поднимаете его.
4. Во время записи старайтесь держать лицо ровно впереди видеоустройства не допуская резкого наклона головы.
5. Применяйте опцию “Attention Aware” (“Реакция на внимание”) – она закрывает мобильное устройство, если вы отвернулись от экрана.

Возможности прогресса техники

В ближайшие времена можно ожидать развития полностью безконтактных способов распознавания человека сразу по нескольким биометрическим параметрам одновременно: физиономия + звучание + манера ходьбы + движения рук!

Также предполагается появление современных методов охраны приватности – скажем, изменяющееся корректировка электронного образца после каждой удачной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – единственная из самых захватывающих техник нашего периода! Она обеспечивает взаимодействие со телефоном удобнее чем когда-либо прежде, и такие аппы, как admiral-x, могут значительно оптимизировать ваш пользовательский опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы понимаете, как функционирует эта методика изнутри, – сможете осознаннее выбирать свой будущий девайс!