Каким образом функционирует распознавание лицевых образов в мобильных устройствах

Зачем мы предпочитаем разблокирование по лицевому распознаванию

В последние годы распознавание лиц является одной из наиболее востребованных функций для разблокировки умных телефонов. Всего несколько годов тому назад основная масса юзеров удовлетворялись PIN-кодами, секретными кодами или датчиками отпечатков пальцев. Но при появлением таких технологий, например admiral x, нам достаточно лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Какая вещь обуславливает эту конкретную возможность очень нужной? Для начала, это комфортно: не нужно удерживать в памяти сложные пароли или находить правильный палец в тьме. Во-вторых, это оперативно: современные алгоритмы узнают лицо практически за мгновения ока. В-третьих, это чувство будущего — словно в фильмах про адмирал х шпионов.

Тем не менее за данной на первый взгляд легкостью таится полный универсум комплексных технологий и инженерных разработок. Позвольте нам исследовать, как конкретно действует фейсканирование в современных смартфонах, какие бывают технологии, насколько они безопасны и что нас ожидает в будущем.

Сжатая хроника прогресса инноваций

Распознавание лиц как технология существует уже более пятидесяти лет. Изначальные эксперименты машинного исследования облика были сделаны еще в 1960-х годы в научных учреждениях США. Тогда компьютеры способны были лишь определять силуэты черепа и измерять промежутки между очами и губами на ахроматических изображениях.

Начальные коммерческие платформы стали доступны в 90-х, но они были несовершенны: функционировали медленно и нередко ошибались. Только с прогрессом нейронных сетей и таких систем, как адмирал х, высокопроизводительных мобильных процессоров определение лиц стало по-настоящему общедоступным явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый массовый смартфон с достоверным трёхмерным распознаванием лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие стали интегрировать собственные решения.

Ключевые этапы действия механизма определения

Процесс распознавания лица можно условно сегментировать на несколько важных этапов:

1. Обнаружение лица — устройство определяет существование человеческого образа в кадре.
2. Извлечение характеристик — механизм изучает черты облика: очертания глаз, обонятельного органа, уст, позицию надбровных дуг.
3. Построение модели — создаётся неповторимый цифровой отпечаток (faceprint) на основе выделенных признаков.
4. Сравнение с образцом — созданный образец сверяется со записанной при учёте биометрической данными владельца.
5. Принятие выбора — если соответствие достаточно значительное, смартфон разблокируется.

Любой из этих шагов требует особых алгоритмов и улучшений для скорой работы прямо на устройстве.

Технические составляющие: что находится в их недрах

Стандартная селфи камера.

Наиболее несложный способ идентификации облика использует только переднюю камеру смартфона. Подобный подход внедрён во различных бюджетных версиях Android-девайсов.

Преимущества:

• Необходимо требует внешних сенсоров.
• Быстро действует при достаточном освещённости.

Минусы:

• Легко обмануть снимком или роликом.
• Неудачно действует при слабом свете или необычных точках зрения.

ИК камера и пунктирный проекционный аппарат

Более усовершенствованные системы, такие как адмирал х, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта технология лежит в основе Face ID от Apple.

Каким образом это работает:

• Точечный проекционный прибор проецирует на физиономию использующего невидимую сетку из тысяч инфракрасных точек (например, Face ID применяет около 30 000 точек).
• Инфракрасная камера регистрирует изменение формы этой решетки по плоскости лица.
• Формируется 3D карта глубины глубинности, что практически неосуществима для имитации стандартной фотографией или маскировкой.

Плюсы

• Надёжная функционирование даже в полной тьме.
• Высокая защита к имитациям.
• Точность распознавания свыше 99%.

Дополнительные сенсорные устройства

В определённых устройствах используются также вспомогательные сенсорные устройства: ToF (Time-of-Flight), которые измеряют время прохождения света до объекта и обратно; Трехцветные-датчики глубины; специальные световые дальномеры для создания более детализированной 3D-модели лица.

Эти технологии встречаются чаще всего во флагманских моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные процедуры: синтетический разум в действии

Текущие устройства распознавания лиц неосуществимы при отсутствии эксплуатации ИИ и машинного обучения. Именно из-за таким инновациям, как адмирал х, аппарат способно распознавать юзера даже при изменениях внешнего вида: новая причёска, щетина, очки или макияж не становятся барьером для открытия.

Распознавание физиономии

На первом этапе система должна быстро найти лицо среди целого кадра камеры. Для данной цели используются каскадные классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые “обучены” распознавать лиц человека среди множества других объектов.

Пример: метод MTCNN может обнаруживать физиономию даже с неполном перекрытии (например, шарфом или ладонью).

Определение важных аспектов

После идентификации лица устройство, такая как адмирал х, определяет положение главных точек: уголки глаз, верхушка носа, контуры губ и так далее. Часто задействуется от 68 до 128 главных точек на лицевой поверхности.

Это необходимо для стабилизации изображения: если человек удерживает мобильник под углом, или повернул голову, программа “выпрямляет” изображение до стандартного положения для дальнейшего анализа.

Построение биометрического образца

Далее нейросеть строит компактное цифровое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой образ лица длиной от 128 до 512 чисел с плавающей запятой.

Данный образец весьма трудно имитировать: он не сохраняет само картинку юзера, а лишь исключительные характеристики его вида, что делает его идеальным для таких площадок, как admiral-x.

Сопоставление и принятие заключения

Если пользователь желает открыть смартфон взглядом, система осуществляет все описанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает установленный порог (обычно превышает 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ не предоставляется.

Адаптация к изменениям внешности

Увлекательная черта нынешних систем — способность самостоятельного обучения. Если ты регулярно доступаете к телефон с новой стрижкой или очками, алгоритм постепенно модернизирует эталонный образец вашего облика для повышения точности работы без снижения уровня безопасности.

Охрана биометрии информации.

Многие клиенты беспокоятся сохранять свои биометрические данные на смартфоне из-за вероятности потери данных или взлома гаджета. Определенные фирмы, например admiral-x, предлагают варианты для улучшения безопасности данных юзеров.

• Локальное сбережение: Преимущественно аппаратов записывает биометричные шаблоны исключительно внутри защищенного процессора Secure Enclave (Apple) или TrustZone (Android). Эти данные ни разу не не выходят из устройство и недоступны в том числе создателю.

• Шифрование: Все данные сохраняются только в кодированном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция программ: Приложения внешних девелоперов не имеют прямого возможности доступа к биометрическим; они могут лишь запрашивать подтверждение верификации личности через системный API.

Необходимо подчеркнуть важную деталь: в случае, если какой-то человек получит доступ к вашему телефону физически (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество изготовители осуществляют меры безопасности от неосознанного разблокирования — к примеру, заставляют раскрыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют существуют виды идентификации лиц?

На сегодняшний день можно выделить выделить три основных подхода к выполнению этой операции:

Программное двухмерное идентификация

Применяется только фронтальная камера без вспомогательных датчиков дистанции. Подобный метод используется наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: легкость воплощения; умеренная стоимость; оперативная работа при хорошем свете.
Минусы: просто одурачить снимком; нестабильная работа ночью; слабая безопасность.

Техническое трёхмерное оцифровка

Использует инфракрасную камеру + проекционный модуль точек + сенсоры дистанции (Face ID от Apple; подобные решения у Huawei Mate).
Преимущества: большая достоверность; невозможно исказить изображение/видеозапись; стабильная работа при любом освещении.
Минусы: увеличение цены устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Комбинированные способы с интеграцией ИИ

Используют комбинацию софтверных методов + аппаратно-техническую обработку + постобработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные товары, как адмирал х и Google Pixel Face Unlock современных поколений, объединяют фронталку c ИК сенсором мобильности Soli Radar для защиты от фальсификаций руками/масками/видеодисплеями посторонних устройств.

Иллюстрации применения разных методов

• iPhone серии X/11/12/13/14 применяют только техническое трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition в первый раз предложил аналог Face ID в числе Android.
• Samsung Galaxy S10 модель/S20 поддерживают как программное обеспечение 2D идентификацию по изображению фронтальной камерой, так и датчик радужки глаза.
• Huawei Mate20 Pro использует систему из ИК-освещения + Dot Projector + ToF-сенсорный элемент

Проблемы безопасности и ошибочные тревоги

Несмотря на впечатляющий успехи инноваций за прошедшие лет, идеальных системы пока не имеется:

1. Вероятность подвоха: Доступные телефоны без труда “разблокируются” высококачественной фотографией хозяина или видео с дисплея иного гаджета.
2. Идентичные близняшки: Даже самые безупречные системы могут ошибиться между однояйцевыми близнецами либо родичами с очень схожей внешностью.
3. Метаморфозы внешнего вида: Внезапное утрата веса/увеличение массы тела, пластические операции или травмы порой требуют перерегистрации биометрических данных.
4. Условия съёмки: Сильная освещённость солнечным светом либо интенсивная тень могут снизить точность распознавания признаков.

Ниже пара рекомендаций для защищённому эксплуатации:

• Для значимых операций всегда используйте двухфакторную аутентификацию;
• Не включайте опцию “Разблокировка по лицу” на недорогих аппаратах без ИК-сенсоров;
• Систематически апгрейдите ПО телефона для защиты от актуальных атак;
• Включайте настройку “Требовать раскрытых глаз” в тех местах, где она имеется.

В каких местах ещё применяется технологии помимо мобильных телефонов?

Пускай основная мысль этой работы касается конкретно мобильным устройствам, необходимо сказать о прочих направлениях внедрения технологии:

• Контроль прохода в деловых центрах и многоквартирных зданиях;
• Платёжные устройства финансовых учреждений (“Face Pay”);
• Электронные идентификационные документы нового поколения;
• Установки видеонаблюдения городских служб;
• Автоматизация учёта явки учебных заведений/университетов;
• Вход юзеров компьютеров/ноутбуков.

Например: В столичном метро уже проверяется система оплаты проезда по лицу (“Face Pay”) — нужно лишь пройти через турникет без пластика или мобильника! Схожие проекты реализуются в Поднебесной (Шэньчжэнь), Республике Корея и ряде стран Европы.

Каким образом изменяется технический процесс в наше время?

Любой годик появляются новые концепции для повышения уровня деятельности систем лицевого распознавания:

1. Увеличивается чёткость сенсорных устройств — чем больше информации фиксируется фотоаппаратом/датчиками глубины, тем меньше риск неточности;
2. Развиваются нейронные сети — современные архитектуры модели MobileNetV3 обеспечивают возможность скоростно обучаться дополнительным чертам облика обладателя напрямую на гаджете без отправки данных в облако.
3. Развиваются способы антиспуфинга — теперь смартфоны умеют различать подлинные анимированные лица от статичных снимков/масок по мельчайшим микродвижениям.
4. Синхронизация со интеллектуальными приборами — интеллектуальные часы могут самостоятельно заблокировать телефон, если пользователь ушёл далеко.
5. Появляются комбинированные механизмы — к примеру совмещающие голосовую идентификацию + лицо + отпечаток пальца.

Вот, какие направления особенно востребованы сейчас:

1) Сокращение элементов

Компании намереваются минимизировать размер прорези (“чёлки”) под датчики на экране за счёт внедрения миниатюрных ИК-излучателей прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Переработка прямо на аппарате

Для повышения приватности всё больше обработки данных происходит на месте без отправки информации во внешний облачный сервис.

3) Упорядочивание стандартов

Google активно продвигает стандарт BiometricPrompt API, с целью чтобы аналогичные платформы, вроде admiral x, и любые Android-приложения были совместимы с любыми видами биометрии унифицированно.

Что решить на сегодня?

В случае если вам всем важна максимальная безопасность данных, остановите выбор на топовые аппараты с интегрированным ИК-проектором либо ToF-сенсором глубины.

• iPhone всех существующих последних поколений
• Huawei Partner/Series P линейки
• Xiaomi Pro
• Vivo X линейки
• Оппо Обнаружить X серий.

Если средства ограничен – лучше выбирать традиционным методам безопасности (PIN-код/сканер отпечатка), а функцию “разблокировка по лицу”, такую как в admiral x, применять только как дополнительную опцию удобства.

Как повысить комфорт функционирования возможности?

Есть пара лайфхаков для людей, кто уже использует функцию распознавания лица:

1. Часто меняйте свою фото-шаблон, если кардинально трансформируется облик.
2. Не забывайте протирать объектив передней камеры – разводы могут уменьшить точность!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате смартфон сам включает камеру если вы поднимаете его.
4. При регистрации старайтесь сохранять лицевую часть прямо впереди видеоустройства без сильного наклона головы.
5. Применяйте опцию “Attention Aware” (“Реакция на внимание”) – она закрывает телефон, если вы отвели взгляд от экрана.

Возможности эволюции техники

В скоро наступающие годы можно ожидать развития полностью бесконтактных способов распознавания персоны сразу по нескольким биометрическим данным параметрам одновременно: физиономия + речь + шаги + манипуляции руками!

Также возможно появление свежих подходов обеспечения приватности – например, динамическое модификация электронного паттерна после каждой успешной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – единственная из очень интересных техник нашего периода! Она обеспечивает общение со смартфоном комфортнее чем до этого, и такие приложения, как admiral-x, могут значительно оптимизировать ваш пользовательский опыт, но нуждается в осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, когда вы знаете, как работает эта методика внутри, – будете в состоянии осознаннее определять свой будущий девайс!