Каким способом работает определение лиц в смартфонах

Для чего мы выбираем разблокировку по лицевому распознаванию

В последние времена определение лиц стало одной из наиболее востребованных функций для открытия умных телефонов. Лишь пару годков назад основная часть использующих удовлетворялись пин-кодами, секретными кодами или сканерами отпечатков пальцев. Но при появлением подобных технологий, как admiral x, нам вполне просто взглянуть на экран — и устройство тут же узнает своего владельца.

Что превращает эту конкретную особенность очень нужной? Для начала, это комфортно: не нужно удерживать в памяти замысловатые пароли или искать верный палец в мраке. Кроме того, это оперативно: современные системы распознают лицо буквально за мгновение. В-третью очередь, это чувство футуризма — будто в кинолентах про адмирал х официальный сайт шпионов.

Впрочем за данной на первый взгляд простотой прячется целый универсум сложных технологий и инженерных разработок. Позвольте нам разобраться, как точно работает идентификация по лицу в современных смартфонах, какие бывают технологии, насколько они защищены и что нас предстоит.

Короткая хроника развития инноваций

Идентификация лиц как технология существует уже более 50 лет. Изначальные попытки автоматического исследования лиц были предприняты еще в 1960-х годы в исследовательских центрах США. Тогда компьютеры умели лишь выделять контуры черепа и определять дистанции между зрачками и устами на монохромных фотографиях.

Первые коммерческие платформы стали доступны в 1990-х годах, но они были несовершенны: работали медленно и часто давали сбои. Только с эволюцией искусственных сетей и таких систем, как адмирал х, высокопроизводительных мобильных процессоров идентификация лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple выпустила iPhone X с системой Face ID — это был первый популярный смартфон с надёжным трёхмерным распознаванием лица. За этим пошли Android-производители: Samsung, Huawei, Xiaomi и другие начали внедрять собственные решения.

Основные стадии работы устройства распознавания

Процесс распознавания лица можно ориентировочно поделить на несколько важных этапов:

1. Обнаружение лица — аппарат распознает присутствие человеческого лица в снимке.
2. Определение характеристик — алгоритм анализирует контуры физиономии: очертания зрительных органов, носа, губ, положение надбровных дуг.
3. Построение шаблона — создаётся уникальный цифровой отпечаток (faceprint) на основе определённых признаков.
4. Сравнение со эталоном — созданный образец сопоставляется со записанной при внесении биометрической информацией владельца.
5. Принятие решения — если соответствие достаточно высокое, смартфон разблокируется.

Всякий из указанных этапов требует специальных алгоритмов и улучшений для скорой работы непосредственно на девайсе.

Технические элементы: что скрыто внутри

Типичная передняя камера.

Самый несложный вариант идентификации физиономии задействует исключительно лицевую камеру смартфона. Такой способ осуществлён во различных доступных версиях Android-устройств.

Положительные стороны:

• Не нуждается в требует дополнительных датчиков.
• Быстро работает при хорошем освещении.

Недостатки:

• Несложно одурачить фотографией или видеозаписью.
• Неудачно действует при слабом освещении или непривычных ракурсах.

ИК фотокамера и пунктирный проекционный аппарат

Более совершенные системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая методика составляет базу Face ID от Apple.

Как это работает:

• Точечный устройство проекции проецирует на лицо юзера невидимую решетку из тысяч инфракрасных пятен (например, Face ID применяет около 30 000 меток).
• Инфракрасная камера записывает деформацию данной решетки по плоскости физиономии.
• Формируется трехмерная глубинная карта глубинности, что почти неподвластна для подделки обычной фото или маской.

Достоинства

• Надёжная работа даже в полной тьме.
• Сильная сопротивляемость к подделкам.
• Точность распознавания свыше 99%.

Добавочные датчики

В отдельных девайсах используются также экстра сенсоры: ToF (Time-of-Flight), которые измеряют время прохождения луча до предмета и обратно; Трехцветные-датчики глубины; специальные световые лидары для формирования более детализированной 3D-модели лица.

Эти технологии встречаются чаще всего во передовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные методы: искусственный ум на действии

Нынешние механизмы идентификации лиц неосуществимы без эксплуатации ИИ и machine learning. Именно благодаря таким технологиям, как адмирал х, аппарат может идентифицировать юзера даже при изменениях внешности: новая укладка, борода, оптика или грим не становятся препятствием для открытия.

Распознавание лица

При первом стадии система обязана оперативно найти образ лица в пределах всего изображения камеры. Для этого применяются многоуровневые классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые “обучены” распознавать лица людей среди множества других объектов.

Пример: процесс MTCNN может обнаруживать лицо даже при неполном перекрытии (например, шалью или рукой).

Идентификация важных моментов

После обнаружения лица механизм, такая как адмирал х, устанавливает положение ключевых точек: края глаз, кончик носа, края губ и так далее. Обычно применяется от 68 до 128 ключевых маркеров на лице.

Данное требуется для нормализации визуала: если человек удерживает мобильник под углом, или повернул голову, программа “выпрямляет” картинку до нормального состояния для дальнейшего анализа.

Создание биометрии шаблона

Далее нейронная сеть строит сжатое математическое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой “отпечаток” лица длиной от 128 до 512 флоатов.

Данный образец весьма сложно сфальсифицировать: он не хранит само изображение пользователя, а лишь уникальные особенности его вида, что делает его оптимальным для таких систем, как admiral-x.

Сопоставление и принятие заключения

Когда человек намеревается разблокировать телефон глазами, механизм осуществляет все описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает заданный порог (обычно больше 99%), телефон, как и платформа admiral-x, открывается; если нет — доступ запрещается.

Адаптация к изменениям облика

Интересная характеристика современных системы — способность самообучения. Если вы постоянно открываете телефон с обновленной прической или очками, алгоритм постепенно обновляет эталонный образец вашего лица для улучшения точности функционирования без ухудшения безопасности.

Безопасность биометрических информации.

Большинство юзеры боятся сохранять свои биометрические идентификационные данные на мобильном устройстве из-за вероятности утечки данных или взлома гаджета. Некоторые компании, вроде admiral-x, предлагают варианты для повышения сохранности данных юзеров.

• Локальное хранение: Большинство аппаратов записывает биометрические образцы только внутри защищенного процессора Secure Enclave (Apple) или TrustZone (Android). Они всегда не выходят из устройство и закрыты в том числе изготовителю.

• Шифрование: Все информация хранятся только в зашифрованном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция приложений: Программы третьих разработчиков не обладают прямого доступа к биометрическим; они могут лишь запрашивать подтверждение подтверждения идентичности через системный API.

Стоит упомянуть важную особенность: в случае, если какой-то человек получит физический доступ к вашему телефону (например, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие компании внедряют меры безопасности от неосознанного разблокирования — в частности, требуют открыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие имеются виды определения лиц?

В настоящее время можно различить 3 главных способа к выполнению этой функции:

Программное плоское определение

Эксплуатируется только передняя камера без дополнительных датчиков глубины. Такой метод наблюдается наиболее часто в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: легкость воплощения; низкая затраты; быстрая работа при достаточном свете.
Минусы: несложно ввести в заблуждение фотографией; неустойчивая деятельность ночью; слабая охрана.

Оборудование для трёхмерное сканирование

Задействует ИК видеокамеру + проектор точек + сенсоры дистанции (Face ID от Apple; аналогичные решения у Huawei Mate).
Плюсы: большая достоверность; не получится обмануть изображение/видеозапись; устойчивая деятельность в любых условиях освещения.
Минусы: увеличение цены устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Гибридные подходы с интеграцией ИИ

Задействуют комбинацию софтверных методов + аппаратно-техническую обработку + постобработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, подобные изделия, например адмирал х и Google Pixel Face Unlock новейших версий, комбинируют фронтальную камеру c инфракрасным сенсором движения Soli Radar для предотвращения от подделок жестами/масками/видеоэкранами чужих устройств.

Примеры эксплуатации разных техник

• iPhone серии X/11/12/13/14 задействуют только аппаратное трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition в первый раз представил аналог Face ID среди Android.
• Samsung Galaxy S10/S20 обеспечивают как программное 2D определение по фото фронталкой, так и датчик глазного ириса.
• Huawei Mate20 Pro применяет комплекс из ИК-освещения + Dot Projector + ToF-датчик

Вопросы безопасности и ложные сигналы

Несмотря на поразительный развитие техники за прошедшие лет, идеальных механизмов пока не имеется:

1. Вероятность обмана: Бюджетные смартфоны просто открываются высококачественной фотографией владельца или видео с экрана другого устройства.
2. Идентичные близнецы: Даже самые идеальные системы могут спутать между монозиготными близнецами либо родичами с очень похожей внешностью.
3. Трансформации внешности: Внезапное похудение/увеличение массы тела, пластические операции либо повреждения в некоторых случаях необходимы для перерегистрации биометрии.
4. Условия записи: Сильная подсветка солнечным светом либо плотная темнота могут уменьшить аккуратность распознавания признаков.

Ниже некоторые советов для безопасному эксплуатации:

• Для значимых операций всегда внедряйте двухфакторную аутентификацию;
• Не включайте опцию “Разблокировка по лицу” на недорогих устройствах без ИК-сенсоров;
• Постоянно обновляйте прошивку ПО мобильного устройства для обеспечения безопасности от новых видов атак;
• Включайте функцию “Требовать распахнутых глаз” везде, где она имеется.

Где ещё используется технология кроме мобильных телефонов?

Хотя предмет данной публикации сосредоточена на именно мобильным устройствам, необходимо сказать о прочих направлениях внедрения технологии:

• Контроль доступа в рабочих помещениях и многоквартирных зданиях;
• Платёжные устройства банков (“Face Pay”);
• Виртуальные удостоверения личности нового поколения;
• Установки видеоконтроля городских подразделений;
• Механизация регистрации присутствия учебных заведений/вузов;
• Аутентификация участников ПК/ноутбуков.

Например: В московском метро уже испытывается система платежа проезда по фейсу (“Face Pay”) — достаточно пройти через барьер без пластика или мобильника! Похожие инициативы развиваются в Китае (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким образом изменяется технический процесс в наше время?

Каждый годик появляются современные идеи для улучшения качества деятельности систем идентификации лиц:

1. Увеличивается детализация сенсоров — чем больше информации фиксируется видеокамерой/глубинными сенсорами, тем меньше шанс ошибки;
2. Развиваются нейросети — передовые структуры типа MobileNetV3 позволяют быстро адаптироваться к свежим особенностям вида обладателя прямо на устройстве без отправки данных в облако.
3. Развиваются технологии антиспуфинга — теперь смартфоны могут различать реальные движущиеся лица от фиксированных снимков/маскировок по незаметным микродвижениям.
4. Интеграция со интеллектуальными приборами — умные часы могут авто закрыть доступ к смартфон, если владелец ушёл далеко.
5. Проявляются смешанные устройства — в частности объединяющие аудио опознание + облик + отпечаток пальца.

Здесь, те направления в особенности актуальны в данный момент:

1) Сокращение компонентов

Компании пытаются минимизировать размер отверстия (“чёлки”) для датчики на экране за счёт интеграции миниатюрных ИК-проекторов прямо под стекло дисплея либо высувных модулей камеры.

2) Обработывание прямо на устройстве

Для повышения приватности всё больше расчётов происходит на месте без пересылки данных во внешний облачный услугу.

3) Упорядочивание норм

Гугл интенсивно продвигает норму BiometricPrompt API, для того чтобы аналогичные платформы, например как admiral x, и любые Android-приложения могли работать с различными типами биометрии стандартизированно.

Какое решить на сегодня?

В случае если вам нужна максимальная безопасность данных, выбирайте флагманские устройства с интегрированным ИК-излучателем или же ToF-сенсором глубины.

• iPhone каждого актуальных моделей
• Huawei Mate/P Series линейки
• Xiaomi Professional
• Vivo X серии
• Оппо Обнаружить Икс серий.

Если финансы скромен – лучше отдавать предпочтение классическим способам защиты (PIN-код/сканер пальца), а опцию “разблокировка по лицу”, такую как в admiral x, использовать только как дополнительную опцию удобства.

Каким способом улучшить комфорт использования опции?

Есть несколько лайфхаков для людей, кто уже использует функцию распознавания лица:

1. Периодически обновляйте свою изображение-шаблон, если значительно трансформируется внешность.
2. Не забывайте протирать линзу передней камеры – пятна могут снизить четкость!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – так мобильник сам активирует фотоаппарат когда вы поднимаете его.
4. В процессе записи старайтесь сохранять голову неподвижно впереди объектива не допуская резкого наклона головы.
5. Используйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает смартфон, если вы отворачиваетесь от дисплея.

Возможности эволюции техники

В скоро наступающие периоды можно ожидать появления полностью бесконтактных способов идентификации персоны сразу по нескольким биометрическим параметрам одновременно: облик + речь + манера ходьбы + жесты рук!

Также вероятно развитие свежих способов охраны приватности – скажем, изменяющееся изменение электронного паттерна после каждой удачной авторизации, чтобы осложнить его копирование злоумышленниками.

Идентификация лиц – одна из наиболее интересных инноваций нашего времени! Она предоставляет взаимодействие со смартфоном проще чем когда-либо прежде, и такие программы, как admiral-x, могут значительно повысить ваш юзерский опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы знаете, как функционирует эта система изнутри, – будете в состоянии вдумчиво определять свой следующий устройство!