Как работает определение лиц в смартфонах

Для чего мы выбираем разлочивание по фейсу

В последние времена определение физиономий является одной из самых распространённых возможностей для деблокировки умных телефонов. Всего пару годов ранее большинство пользователей довольствовались пин-кодами, секретными кодами или датчиками отпечатков пальцев. Но при появлением подобных технологий, как admiral x, нам достаточно просто взглянуть на экран — и аппарат тут же узнает своего владельца.

Какая вещь превращает данную возможность очень нужной? Во-первых, это комфортно: не нужно удерживать в памяти сложные пароли или отыскивать правильный палец в темноте. Во-вторых, это мгновенно: современные программы распознают лицо практически за доли секунды. В-третьем пункте, это впечатление будущего — будто в фильмах про адмирал х шпионов.

Впрочем за данной кажущейся легкостью прячется целый вселенная сложных технологий и инженерных решений. Попробуем понять, как точно действует распознавание лиц в новейших смартфонах, какие существуют методы, насколько они защищены и что нас предстоит.

Краткая история эволюции инноваций

Идентификация лиц как техника присутствует уже более пятидесяти годов. Первые эксперименты машинного исследования лиц были сделаны еще в 1960-х годах в научных учреждениях США. Тогда компьютеры способны были лишь определять очертания лица и измерять промежутки между зрачками и устами на черно-белых снимках.

Начальные бизнес платформы возникли в 1990-х годах, но они были далеки от совершенства: действовали неспешно и часто ошибались. Только с прогрессом искусственных сетей и таких систем, как адмирал х, высокопроизводительных мобильных процессоров идентификация лиц стало по-настоящему общедоступным явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый популярный смартфон с надёжным трёхмерным идентификацией лица. За этим пошли Android-производители: Samsung, Huawei, Xiaomi и прочие начали внедрять свои разработки.

Основные этапы действия устройства идентификации

Процесс идентификации лица можно примерно поделить на несколько ключевых этапов:

1. Идентификация лиц — аппарат определяет существование человеческого лица в кадре.
2. Определение признаков — система исследует черты физиономии: очертания зрительных органов, носа, уст, расположение бровей.
3. Построение модели — создаётся особенный виртуальный отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение со стандартом — сформированный модель сверяется с записанной при учёте биометрической информацией владельца.
5. Принятие выбора — если соответствие достаточно значительное, смартфон деблокируется.

Всякий из этих этапов запрашивает специальных алгоритмов и улучшений для скорой работы непосредственно на девайсе.

Железные компоненты: что находится в их недрах

Стандартная передняя камера.

Самый простой несложный метод распознавания лица использует лишь фронтальную камеру смартфона. Подобный способ осуществлён во многих доступных версиях Android-устройств.

Преимущества:

• Необходимо требует внешних датчиков.
• Быстро функционирует при хорошем освещённости.

Недостатки:

• Легко ввести в заблуждение снимком или роликом.
• Плохо функционирует при плохом освещённости или нестандартных точках зрения.

Инфракрасная фотокамера и точечный проектор

Более совершенные системы, такие как адмирал х, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная методика лежит в основе Face ID от Apple.

Как это действует:

• Точечный проекционный прибор отображает на лицо использующего невидимую сетку из тысяч инфракрасных точек (например, Face ID использует около 30 000 меток).
• Инфракрасная устройство фиксирует искривление данной решетки по плоскости лица.
• Формируется трехмерная карта глубины глубинности, что почти что неподвластна для имитации обычной фотографией или маскировкой.

Достоинства

• Надёжная работа даже в полной тьме.
• Сильная сопротивляемость к фальсификациям.
• Точность идентификации выше 99%.

Добавочные сенсоры

В отдельных аппаратах задействуются также дополнительные сенсоры: ToF (Time-of-Flight), которые фиксируют время прохождения света до объекта и обратно; Цветные-датчики дальности; специальные оптические дальномеры для создания более детализированной 3D-модели физиономии.

Эти инновации используются чаще всего во флагманских устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные алгоритмы: синтетический интеллект в действии

Современные устройства идентификации лиц невозможны в отсутствие применения искусственного интеллекта и машинного обучения. Именно из-за таким технологиям, как адмирал х, гаджет в состоянии узнавать пользователя даже при трансформациях облика: новая причёска, борода, линзы или косметика не становятся помехой для открытия.

Распознавание физиономии

При начальном стадии алгоритм должна оперативно распознать лицо среди всего кадра камеры. Для этого используются многоуровневые классификаторы Хаара или более продвинутые сверточные нейронные сети (CNN), которые подготовлены находить лица людей среди множества других объектов.

Пример: метод MTCNN может находить физиономию даже при частичном перекрытии (например, шарфом или рукой).

Выделение ключевых аспектов

После обнаружения лица устройство, такая как адмирал х, вычисляет местоположение ключевых точек: края глаз, верхушка носа, контуры губ и так далее. Часто задействуется от 68 до 128 основных маркеров на лицевой области.

Это необходимо для нормализации картинки: если пользователь держит смартфон под наклоненным, или склонил головку, программа исправляет картинку до обычного угла для дальнейшего анализа.

Создание биометрического идентификатора шаблона

Далее нейронная сеть строит компактное математическое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой образ лица длиной от 128 до 512 флоатов.

Данный шаблон весьма сложно сфальсифицировать: он не хранит непосредственно картинку юзера, а лишь исключительные черты его вида, что делает его совершенным для таких систем, как admiral-x.

Сравнительный анализ и осуществление решения

Когда пользователь желает разблокировать смартфон взглядом, программа повторяет все описанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает определённый уровень (обычно превышает 99%), телефон, как и платформа admiral-x, разблокируется; если нет — доступ не предоставляется.

Адаптация к трансформациям облика

Интересная черта нынешних систем — способность самостоятельного обучения. Если ты постоянно открываете телефон с новой прической или очками, система постепенно модернизирует базовый модель вашего лица для улучшения точности функционирования без снижения уровня безопасности.

Охрана биометрии данных.

Многие клиенты опасаются держать свои биометрические идентификационные данные на мобильном устройстве из-за вероятности утечки информации или хакерской атаки. Определенные фирмы, такие как admiral-x, предлагают решения для улучшения сохранности информации пользователей.

• Локальное сохранение: Большинство устройств записывает биометрические шаблоны лишь внутри безопасного микросхемы Secure Enclave (Apple) или TrustZone (Android). Они никогда не оставляют устройство и закрыты в том числе создателю.

• Шифрование: Все информация сберегаются только в шифрованном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция программ: Приложения внешних девелоперов не обладают прямого доступа к биометрическим данным; они могут лишь запрашивать подтверждение верификации идентичности через системный API.

Стоит подчеркнуть важную особенность: в случае, если кто-либо получит доступ к вашему телефону физически (например, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество изготовители внедряют меры безопасности от неосознанного разблокирования — к примеру, просят открыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие именно существуют виды идентификации лиц?

На сегодняшний день можно определить различить 3 ключевых способа к реализации этой операции:

Программируемое плоское определение

Применяется только передняя камера без экстра сенсоров глубины. Подобный подход наблюдается обычно в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: несложность реализации; минимальная цена; быстрая функционирование при достаточном освещении.
Минусы: просто ввести в заблуждение снимком; нестабильная функционирование ночью; недостаточная охрана.

Аппаратное 3D сканирование

Использует инфракрасную камеру + проектор точек + датчики глубины (Face ID у Apple; подобные технологии у Huawei Mate).
Плюсы: значительная достоверность; нельзя обмануть фото/видео; стабильная функционирование в любых условиях освещения.
Минусы: удорожание устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Комбинированные способы с дополнением ИИ

Задействуют комбинацию программируемых методов + аппаратную обработку + постобработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные продукты, например адмирал х и Google Pixel Face Unlock новейших версий, комбинируют фронталку c инфракрасным сенсором мобильности Soli Radar для защиты от фальсификаций жестами/масками/видеодисплеями чужих устройств.

Образцы использования разнообразных техник

• iPhone модели X/11/12/13/14 применяют только техническое трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition первый раз представил аналог Face ID в числе Android.
• Samsung Galaxy S10 модель/S20 обеспечивают как софтверное 2D определение по изображению фронтальной камерой, так и сканер радужки глаза.
• Huawei Mate20 Pro задействует набор из ИК-подсветки + Dot Projector + ToF-сенсорный элемент

Вопросы защиты и ложные сигналы

Несмотря на замечательный развитие технологий за прошедшие годы, совершенных системы пока не существует:

1. Вероятность обмана: Недорогие мобильники без труда открываются четкой снимком владельца или же видео с дисплея иного гаджета.
2. Идентичные близнецы: Даже самые идеальные устройства могут перепутать между монозиготными близнецами либо родственниками с очень аналогичной внешностью.
3. Трансформации внешности: Внезапное утрата веса/набор веса, косметические процедуры либо повреждения в некоторых случаях требуют обновления данных биометрии.
4. Условия съёмки: Яркая освещённость солнечным светом либо интенсивная тень могут снизить аккуратность распознавания признаков.

Ниже пара советов для надёжному использованию:

• Для важных операций всегда используйте двухфакторную аутентификацию;
• Не включайте возможность “Разблокировка по лицу” на недорогих устройствах без ИК-сенсоров;
• Систематически обновляйте прошивку программное обеспечение мобильного устройства для обеспечения безопасности от новых видов атак;
• Включайте настройку “Требовать распахнутых глаз” в тех местах, где она есть.

В каких областях ещё находится применение технологии помимо мобильных телефонов?

Несмотря на то, что основная мысль этой статьи касается конкретно портативным гаджетам, стоит упомянуть о прочих направлениях внедрения технологии:

• Контроль прохода в офисах и резиденциях;
• Платёжные устройства финансовых учреждений (“Face Pay”);
• Виртуальные идентификационные документы нового образца;
• Комплексы видеонаблюдения городских служб;
• Автоматизирование учёта явки учебных заведений/вузов;
• Авторизация участников ПК/ноутбуков.

Например: В столичном метро уже испытывается система оплаты проезда по лицу (“Face Pay”) — хватит пройти через барьер без пластика или мобильника! Схожие программы реализуются в Китае (Шэньчжэнь), Республике Корея и ряде стран Европы.

Как трансформируется техпроцесс в нынешнее время?

Любой годик появляются современные концепции для улучшения качества работы систем лицевого распознавания:

1. Увеличивается чёткость сенсорных устройств — чем больше деталей фиксируется камерой/глубинными сенсорами, тем меньше шанс неточности;
2. Улучшаются нейросети — передовые архитектуры типа MobileNetV3 дают возможность скоростно осваивать новым характеристикам внешности пользователя прямо на устройстве без пересылки информации в облачное хранилище.
3. Развиваются способы антиспуфинга — теперь телефоны способны различать подлинные анимированные лица от фиксированных снимков/масок по микроскопическим движениям кожи.
4. Синхронизация со интеллектуальными приборами — умные часы могут самостоятельно заблокировать мобильный телефон, если обладатель удалился на значительное расстояние.
5. Возникают смешанные системы — например объединяющие речевую аутентификацию + облик + отпечаток пальца.

Итак, которые направления очень популярны в данный момент:

1) Уменьшение компонентов

Производители намереваются минимизировать величину выреза (“чёлки”) под сенсоры на экране за счёт внедрения компактных ИК-проекторов прямо под стекло дисплея либо выдвижных модулей камеры.

2) Обработка прямо на аппарате

Для повышения конфиденциальности всё более вычислений происходит на месте без отправки информации во внешний облачный сервис.

3) Унификация норм

Гугл интенсивно продвигает стандарт BiometricPrompt API, с целью чтобы аналогичные площадки, как admiral x, и каждые Android-аппы были совместимы с всеми формами биометрии стандартизированно.

Что решить сегодня?

Когда тебе необходима предельная безопасность данных, подбирайте топовые модели со встроенным ИК-проектором либо ToF-датчиком глубины.

• iPhone всех последних поколений
• Huawei Companion/Series P серии
• Xiaomi Pro
• Vivo X модели
• Оппо Найти Х серий.

Если средства скромен – лучше предпочесть обычным методам защиты (PIN-код/сканер пальца), а опцию “разблокировка по лицу”, такую как в admiral x, применять только как дополнительную опцию удобства.

Как увеличить комфорт работы опции?

Есть некоторые лайфхаков для людей, кто уже пользуется разблокировку по лицу:

1. Часто меняйте свою изображение-шаблон, если кардинально трансформируется внешний вид.
2. Не пренебрегайте протирать объектив передней камеры – загрязнения могут понизить точность!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате мобильник сам включает фотоаппарат если вы берёте его в руки.
4. Во время записи старайтесь держать лицо прямо впереди камеры без сильного наклона головы.
5. Применяйте функцию “Attention Aware” (“Реакция на внимание”) – она запирает мобильное устройство, если вы отвели взгляд от экрана.

Перспективы эволюции техники

В предстоящие периоды можно предполагать возникновения полностью бесконтактных способов распознавания персоны сразу по нескольким биометрическим характеристикам параметрам одновременно: лицо + звучание + походка + манипуляции руками!

Также вероятно появление свежих методов обеспечения конфиденциальности – скажем, переменное корректировка цифрового шаблона после каждой удачной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – единственная из наиболее интересных техник нашего времени! Она обеспечивает общение со телефоном удобнее чем когда-либо прежде, и такие программы, как admiral-x, могут существенно улучшить ваш пользовательский опыт, но нуждается в осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы знаете, как работает эта система изнутри, – сумеете вдумчиво подбирать свой следующий устройство!