Как функционирует распознавание лиц в смартфонах

Зачем мы предпочитаем разблокировку по лицу

В последние времена распознавание физиономий стало одной из наиболее востребованных возможностей для разблокировки умных телефонов. Еще пару лет назад основная масса пользователей удовлетворялись пин-кодами, секретными кодами или датчиками отпечатков пальцев. Но с появлением таких технологий, как admiral x, нам достаточно лишь взглянуть на экран — и аппарат тут же узнает своего владельца.

Какая вещь делает эту конкретную возможность очень нужной? Прежде всего, это удобно: не нужно удерживать в памяти трудные пароли или искать правильный палец в тьме. Также, это оперативно: современные программы узнают лицо буквально за мгновение. В-третью очередь, это впечатление футуристичности — словно в кинофильмах про адмирал х разведчиков.

Однако за такой видимой простотой прячется полный универсум трудных технологий и инженерных решений. Попробуем исследовать, как конкретно функционирует фейсканирование в актуальных гаджетах, какие бывают технологии, насколько они надёжны и что нас ожидает в будущем.

Краткая хроника прогресса инноваций

Распознавание лиц как методика существует уже более 50 лет. Изначальные эксперименты автоматического изучения облика были сделаны еще в 1960-х годы в научных учреждениях США. Тогда ЭВМ умели лишь определять контуры лица и вычислять расстояния между глазами и ртом на ахроматических изображениях.

Начальные торговые установки возникли в 1990-х годах, но они были неидеальны: функционировали медленно и часто ошибались. Только с прогрессом искусственных сетей и таких систем, как адмирал х, сильных мобильных микросхем определение лиц стало по-настоящему общедоступным явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый широкодоступный смартфон с безопасным трёхмерным распознаванием лица. За ним последовали Android-производители: Samsung, Huawei, Xiaomi и прочие стали интегрировать собственные решения.

Главные стадии работы системы идентификации

Процесс определения лица можно ориентировочно поделить на несколько важных этапов:

1. Распознавание лица — устройство определяет наличие человеческого образа в кадре.
2. Выделение признаков — механизм анализирует черты физиономии: очертания зрительных органов, обонятельного органа, уст, позицию бровей.
3. Построение модели — создаётся неповторимый цифровой отпечаток (faceprint) на основе выделенных признаков.
4. Сравнение с стандартом — созданный модель сверяется с записанной при внесении биометрической информацией владельца.
5. Принятие определения — если соответствие достаточно высокое, смартфон деблокируется.

Каждый из этих стадий запрашивает особых методов и оптимизаций для оперативной работы прямо на устройстве.

Железные компоненты: что скрыто внутри них

Обычная селфи камера.

Самый простой метод определения лица использует только фронтальную камеру смартфона. Подобный метод реализован во различных бюджетных моделях Android-девайсов.

Плюсы:

• Не нуждается в требует внешних сенсоров.
• Шустро работает при достаточном освещённости.

Отрицательные стороны:

• Легко обмануть изображением или роликом.
• Неудачно функционирует при низком свете или непривычных углах обзора.

Инфракрасная фотокамера и точечный проектор

Более усовершенствованные системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная технология составляет базу Face ID от Apple.

Каким образом это работает:

• Точечный проектор проецирует на облик пользователя невидимую структуру из тысяч инфракрасных меток (например, Face ID задействует около 30 000 точек).
• Инфракрасная устройство регистрирует деформацию данной сетки по плоскости физиономии.
• Получается 3D карта глубины глубины, что практически невозможна для имитации стандартной фото или маскировкой.

Выигрыши

• Надёжная деятельность даже в полной тьме.
• Большая устойчивость к подделкам.
• Точность распознавания выше 99%.

Дополнительные сенсорные устройства

В определённых аппаратах используются также вспомогательные сенсоры: ToF (Time-of-Flight), которые фиксируют время прохождения луча до объекта и обратно; Цветные-датчики глубины; специальные оптические дальномеры для формирования более аккуратной 3D-модели физиономии.

Эти инновации применяются в основном во топовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Программные методы: искуственный разум на работе

Нынешние механизмы опознания физиономий невозможны в отсутствие эксплуатации artificial intelligence и машинного обучения. Именно из-за таким инновациям, как адмирал х, гаджет может идентифицировать пользователя даже при трансформациях внешности: новая укладка, щетина, линзы или косметика не становятся помехой для деблокировки.

Обнаружение физиономии

При начальном шаге программа должна быстро найти ликовое изображение среди целого изображения с камеры. Для этой задачи задействуются многоуровневые классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые подготовлены находить лиц человека среди множества других объектов.

Пример: метод MTCNN способен находить облик даже при частичном перекрытии (например, шалью или рукой).

Определение важных моментов

После идентификации лица система, такая как адмирал х, определяет расположение главных точек: кончики глаз, кончик носа, границы губ и так далее. Часто задействуется от 68 до 128 основных маркеров на лицевой поверхности.

Данное нужно для выравнивания картинки: если юзер находится с телефон под углом, или склонил голову, программа исправляет картинку до обычного угла для последующего изучения.

Формирование биометрического идентификатора модели

Далее искусственная сеть строит уплотненное математическое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой след лица длиной от 128 до 512 флоатов.

Этот образец крайне трудно сфальсифицировать: он не удерживает непосредственно картинку пользователя, а лишь уникальные особенности его внешности, что делает его идеальным для таких платформ, как admiral-x.

Сопоставление и принятие заключения

Когда юзер хочет открыть мобильник взором, система воспроизводит все шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает заданный уровень (обычно превышает 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ запрещается.

Приспособление к изменениям внешнего вида

Занимательная черта современных систем — возможность самообучения. Если ты часто разблокируете телефон с обновленной стрижкой или очками, алгоритм постепенно освежает базовый шаблон вашего внешности для повышения точности работы без снижения уровня безопасности.

Охрана биометрических информации.

Множество клиенты опасаются хранить свои биометрические идентификационные данные на телефоне из-за угрозы утечки данных или хакерской атаки. Некоторые организации, вроде admiral-x, предоставляют решения для повышения безопасности сведений пользователей.

• Локальное хранение: Основная часть девайсов хранит биометричные шаблоны только в пределах защищённого чипа Secure Enclave (Apple) или TrustZone (Android). Они всегда не выходят из аппарат и закрыты в том числе производителю.

• Шифрование: Все сведения сберегаются только в зашифрованном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция программ: Приложения третьих девелоперов не имеют прямого доступа к биометрическим; они могут лишь запрашивать факт подтверждения идентичности через системный API.

Стоит отметить важную подробность: если кто-то сможет получить физический доступ к вашему телефону (например, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие изготовители реализуют систему защиты от “слепого” разблокирования — к примеру, заставляют раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие именно имеются категории распознавания лиц на изображениях?

В настоящее время можно выделить определить три основных метода к реализации этой операции:

Софтверное двухмерное распознавание

Эксплуатируется только лицевая видеокамера без дополнительных детекторов дистанции. Подобный метод используется обычно в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: простота воплощения; умеренная стоимость; скоростная деятельность при хорошем свете.
Минусы: просто ввести в заблуждение снимком; нестабильная деятельность ночью; низкая безопасность.

Техническое трёхмерное оцифровка

Использует ИК камеру + проектор пикселей + датчики глубины (Face ID у Apple; аналогичные решения у Huawei Mate).
Преимущества: большая надёжность; нельзя подделать фото/видео; постоянная деятельность при любом освещении.
Минусы: повышение стоимости устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Гибридные способы с дополнением ИИ

Используют комбинацию программируемых методов + аппаратно-техническую обработку + дополнительную обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, такие изделия, как адмирал х и Google Pixel Face Unlock современных поколений, комбинируют фронталку c инфракрасным датчиком мобильности Soli Radar для предотвращения от подделок жестами/масками/видеоэкранами чужих устройств.

Образцы использования различных методов

• iPhone модели X/11/12/13/14 задействуют только физическое трёхмерное 3D-сканирование
• Xiaomi Mi8 Explorer Edition впервые представил аналог Face ID среди Android.
• Samsung Galaxy S10 модель/S20 обеспечивают как софтверное плоское идентификацию по фото селфи-камерой, так и сенсор радужки глаза.
• Huawei Mate20 Pro задействует систему из ИК-инфракрасного света + Dot Projector + ToF-сенсор

Трудности безопасности и ложные тревоги

Несмотря на замечательный развитие технологий за последние годы, совершенных механизмов пока не наблюдается:

1. Шанс мошенничества: Доступные мобильники просто “разблокируются” качественной изображением пользователя либо видео с экрана другого устройства.
2. Идентичные близняшки: Даже самые совершенные механизмы могут спутать между монозиготными близнецами либо родственниками с очень похожей внешностью.
3. Трансформации внешнего вида: Стремительное похудение/набор веса, хирургические вмешательства или травмы порой требуют обновления данных биометрии.
4. Условия фотографирования: Яркая засветка солнцем или же интенсивная темнота могут снизить аккуратность распознавания признаков.

Здесь некоторые рекомендаций для защищённому эксплуатации:

• Для важных операций всегда внедряйте двухэтапную аутентификацию;
• Не запускайте опцию “Разблокировка по лицу” на бюджетных аппаратах без ИК-сенсоров;
• Регулярно апгрейдите прошивку телефона для предотвращения угроз от актуальных атак;
• Включайте настройку “Требовать открытых глаз” там, где она есть.

В каких областях дополнительно применяется технология за исключением мобильных телефонов?

Пускай тема этой публикации сосредоточена на конкретно смартфонам и планшетам, необходимо сказать о других сферах применения технологии:

• Контроль доступа в деловых центрах и жилых домах;
• Платёжные устройства банков (“Face Pay”);
• Виртуальные паспорта нового типа;
• Системы видеонаблюдения городских подразделений;
• Автоматизация отслеживания присутствия образовательных учреждений/вузов;
• Аутентификация участников компьютеров/ноутбуков.

Например: В московском метро уже испытывается система оплаты проезда по фейсу (“Face Pay”) — нужно лишь пройти через барьер без карты или мобильника! Похожие инициативы осуществляются в Поднебесной (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Каким способом меняется технический процесс сегодня?

Всякий годочек проявляются современные мысли для повышения стандарта деятельности систем идентификации лиц:

1. Увеличивается чёткость сенсорных устройств — чем больше элементов фиксируется фотоаппаратом/датчиками глубины, тем меньше вероятность неточности;
2. Развиваются нейросети — передовые архитектуры модели MobileNetV3 позволяют скоростно обучаться свежим особенностям вида владельца непосредственно на девайсе без отправки данных в облако.
3. Совершенствуются методы антиспуфинга — теперь телефоны способны различать подлинные живые облики от неподвижных фото/масок по мельчайшим движениям кожи.
4. Интеграция со смарт-гаджетами — смарт-часы могут авто закрыть доступ к мобильный телефон, если владелец отошёл далеко.
5. Возникают смешанные системы — например комбинирующие аудио аутентификацию + физиономию + дактилоскопический след.

Здесь, какие направления в особенности востребованы в данный момент:

1) Сокращение компонентов

Производители стараются уменьшить размер выреза (“чёлки”) для сенсоры на дисплее за счёт внедрения маленьких ИК-излучателей прямо под стекло дисплея либо высувных модулей камеры.

2) Обработка прямо на аппарате

Для увеличения личной безопасности всё более обработки данных выполняется локально без отправки данных во сторонний облачный услугу.

3) Унификация стандартов

Гугл энергично продвигает стандарт BiometricPrompt API, чтобы аналогичные системы, например как admiral x, и все Android-аппы были совместимы с различными типами биометрии стандартизированно.

Какое подобрать на сегодня?

Если вам всем важна наивысшая защита информации, остановите выбор на передовые устройства со встроенным ИК-проектором или ToF-датчиком глубины.

• iPhone каждого актуальных моделей
• Huawei Partner/P Series ряда
• Mix Pro
• Vivo X модели
• Оппо Найти X серии.

Если финансы невелик – лучше выбирать традиционным способам безопасности (PIN-код/сканер отпечатка), а возможность “разблокировка по лицу”, такую как в admiral x, применять только как опциональную возможность комфорта.

Как увеличить практичность функционирования функции?

Есть некоторые лайфхаков для тех, кто уже пользуется разблокировку через лицо:

1. Периодически обновляйте свою фото-шаблон, если значительно трансформируется облик.
2. Не забывайте чистить линзу передней камеры – пятна могут снизить точность!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате смартфон сам включает камеру когда вы поднимаете его.
4. При регистрационного процесса постарайтесь держать лицевую часть ровно перед объектива без значительного наклона головы.
5. Применяйте возможность “Attention Aware” (“Реакция на внимание”) – она закрывает мобильное устройство, если вы отвернулись от дисплея.

Перспективы эволюции инноваций

В ближайшие годы можно предполагать возникновения полностью дистанционных способов распознавания персоны сразу по нескольким биометрическим данным параметрам одновременно: облик + звучание + манера ходьбы + жесты рук!

Также предполагается появление свежих способов защиты конфиденциальности – скажем, изменяющееся корректировка цифрового паттерна после каждой результативной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – единственная из очень увлекательных техник нашего времени! Она предоставляет интеракцию со мобильным устройством удобнее чем до этого, и такие аппы, как admiral-x, могут значительно оптимизировать ваш опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы осведомлены, как функционирует эта система внутри, – сумеете осознаннее определять свой следующий гаджет!