Как действует распознавание лицевых образов в смартфонах

Для чего мы останавливаемся на разлочивание по фейсу

В недавние годы определение лиц является одной из наиболее востребованных возможностей для открытия мобильных телефонов. Лишь пару годов ранее большинство использующих обходились PIN-кодами, паролями или датчиками отпечатков пальцев. Но с появлением подобных технологий, например вулкан россия, нам вполне лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Что делает эту конкретную возможность очень нужной? Прежде всего, это комфортно: не нужно запоминать трудные пароли или отыскивать правильный палец в темноте. Также, это мгновенно: современные программы распознают лицо практически за мгновение. В-третьих, это впечатление футуризма — как будто в кинофильмах про вулкан автомат шпионов.

Впрочем за данной видимой несложностью таится весь вселенная комплексных технологий и инженерных разработок. Давайте понять, как именно функционирует распознавание лиц в современных гаджетах, какие применяются методы, насколько они надёжны и что нас ждёт впереди.

Короткая хроника эволюции техники

Распознавание лиц как техника имеется уже более 50 годов. Изначальные попытки машинного исследования облика были предприняты еще в 1960-х годы в лабораториях США. Тогда ЭВМ могли лишь выделять силуэты черепа и измерять расстояния между глазами и устами на ахроматических изображениях.

Изначальные бизнес установки стали доступны в девяностых годах, но они были неидеальны: функционировали медленно и часто ошибались. Только с развитием синтетических сетей и таких платформ, как вулкан россии, высокопроизводительных мобильных чипов определение лиц стало по-настоящему общедоступным явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый массовый смартфон с надёжным трёхмерным идентификацией лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие начали внедрять свои разработки.

Ключевые стадии функционирования системы идентификации

Процесс идентификации лица можно примерно сегментировать на несколько ключевых этапов:

1. Обнаружение лиц — камера распознает присутствие человеческого лица в снимке.
2. Выделение признаков — механизм изучает контуры физиономии: конфигурацию глаз, носа, губ, расположение бровей.
3. Построение шаблона — создаётся особенный виртуальный отпечаток (faceprint) на основе определённых признаков.
4. Сравнение с стандартом — созданный модель сверяется со сохранённой при учёте биометрической информацией владельца.
5. Принятие выбора — если соответствие достаточно высокое, смартфон разблокируется.

Всякий из данных шагов запрашивает специальных методов и улучшений для быстрой работы прямо на устройстве.

Железные элементы: что находится внутри них

Обычная передняя камера.

Простейший легкий метод определения физиономии использует только фронтальную камеру смартфона смартфона. Подобный метод внедрён во многочисленных бюджетных версиях Android-устройств.

Преимущества:

• Необходимо требует дополнительные датчиков.
• Шустро работает при качественном освещении.

Слабые стороны:

• Просто ввести в заблуждение снимком или видеозаписью.
• Неудачно работает при низком освещённости или непривычных ракурсах.

Инфракрасная фотокамера и пунктирный проекционный аппарат

Более усовершенствованные системы, такие как вулкан россии, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая техпроцесс является основой Face ID от Apple.

Как это действует:

• Точечный устройство проекции проецирует на облик использующего невидимую сетку из тысяч инфракрасных меток (например, Face ID использует около 30 000 точек).
• Инфракрасная устройство записывает искривление данной сетки по плоскости лица.
• Получается 3D глубинная карта глубинности, что почти невозможна для фальсификации обычной фото или маскировкой.

Преимущества

• Надёжная функционирование даже в полной неосвещённости.
• Сильная защита к подделкам.
• Точность определения свыше 99%.

Дополнительные сенсорные устройства

В отдельных девайсах применяются также экстра датчики: ToF (Time-of-Flight), которые фиксируют время прохождения луча до предмета и обратно; RGB-датчики дальности; специальные световые дальномеры для формирования более детализированной 3D-модели физиономии.

Эти разработки встречаются чаще всего во передовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: искуственный ум на исполнении

Текущие устройства опознания лиц немыслимы при отсутствии эксплуатации ИИ и machine learning. Именно благодаря таким инновациям, как вулкан россии, устройство в состоянии идентифицировать владельца даже при трансформациях облика: новая стрижка, щетина, линзы или косметика не становятся помехой для деблокировки.

Обнаружение лиц

На первом шаге программа обязана оперативно найти образ лица внутри целого изображения камеры. Для этого применяются каскадные классификаторы Хаара или более новейшие сверточные нейронные сети (CNN), которые натренированы идентифицировать человеческие лица среди множества других объектов.

Пример: процесс MTCNN может распознавать физиономию даже с частичном перекрытии (например, шалью или ладонью).

Выделение основных аспектов

После обнаружения лица механизм, такая как вулкан россии, определяет местоположение ключевых точек: края глаз, конец носа, края губ и так далее. Обычно задействуется от 68 до 128 основных меток на лицевой области.

Это действие необходимо для нормализации картинки: если человек удерживает телефон под углом, или повернул головку, программа “выпрямляет” изображение до нормального состояния для дальнейшего анализа.

Построение биометрического идентификатора модели

Далее нейронная сеть строит уплотненное математическое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой след лица длиной от 128 до 512 флоатов.

Такой шаблон очень сложно сфальсифицировать: он не хранит само картинку пользователя, а лишь особенные характеристики его внешности, что делает его совершенным для таких систем, как vulkan russia.

Сравнительный анализ и вынесение заключения

В случае, когда пользователь намеревается открыть мобильник взглядом, программа повторяет все описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает заданный уровень (обычно выше 99%), телефон, как и платформа vulkan russia, доступен; если нет — доступ не предоставляется.

Приспособление к изменениям облика

Увлекательная особенность современных систем — возможность самообучения. Если вы постоянно доступаете к телефон с свежей укладкой или оптикой, алгоритм постепенно освежает базовый образец вашего лица для повышения точности работы без снижения уровня безопасности.

Защита биометрических данных данных.

Многие юзеры опасаются хранить свои биометрические данные на телефоне из-за риска утечки информации или взлома устройства. Определенные организации, например vulkan russia, предоставляют варианты для повышения сохранности сведений юзеров.

• Локальное сбережение: Преимущественно девайсов сохраняет биометрические образцы исключительно внутри безопасного чипа Secure Enclave (Apple) или TrustZone (Android). Эти данные ни разу не не оставляют гаджет и недоступны в том числе изготовителю.

• Шифрование: Все данные сохраняются только в зашифрованном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция программ: Приложения третьих девелоперов не обладают прямого доступа к биометрическим; они могут лишь требовать подтверждение верификации личности через системный API.

Необходимо подчеркнуть значимую деталь: в случае, если кто-то сможет получить физический доступ к вашему телефону (например, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие производители осуществляют меры безопасности от автоматического разблокирования — к примеру, заставляют раскрыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют имеются категории распознавания лиц?

На сегодняшний день можно выделить три основных подхода к реализации этой операции:

Софтверное плоское определение

Эксплуатируется только фронтальная камера без дополнительных датчиков дистанции. Такой подход встречается наиболее часто в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: легкость осуществления; минимальная затраты; оперативная функционирование при хорошем освещении.
Минусы: легко обмануть фотографией; нестабильная деятельность ночью; низкая безопасность.

Оборудование для трёхмерное сканирование

Применяет ИК камеру + проекционный модуль пикселей + датчики дистанции (Face ID у Apple; аналогичные технологии у Huawei Mate).
Плюсы: высокая надёжность; невозможно обмануть фото/видео; стабильная работа при любом освещении.
Минусы: удорожание устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Комбинированные способы с ИИ-дополнением

Используют комбинацию программируемых методов + техническую обработку + постобработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, такие изделия, например вулкан россии и Google Pixel Face Unlock последних версий, комбинируют фронталку c ИК датчиком мобильности Soli Radar для защиты от фальсификаций жестами/масками/видеоэкранами чужих устройств.

Примеры применения различных способов

• iPhone линейки X/11/12/13/14 используют только физическое трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition в первый раз представил подобие Face ID в числе Android.
• Samsung Galaxy S10 версия/S20 имеют как программное обеспечение двухмерное определение по фото фронталкой, так и сканер радужки глаза.
• Huawei Mate20 Pro применяет набор из ИК-инфракрасного света + Dot Projector + ToF-датчик

Трудности защиты и ложные срабатывания

Несмотря на поразительный развитие технологий за прошедшие лет, совершенных систем пока не наблюдается:

1. Возможность мошенничества: Недорогие смартфоны просто доступны высококачественной снимком хозяина либо видео с дисплея иного гаджета.
2. Идентичные близнецы: Даже самые безупречные системы могут ошибиться между однояйцевыми близнецами либо родичами с очень схожей внешностью.
3. Изменения внешности: Резкое утрата веса/увеличение массы тела, косметические процедуры либо травмы иногда требуют повторной регистрации биометрических данных.
4. Условия записи: Интенсивная засветка солнечным светом или же интенсивная тень могут понизить точность идентификации признаков.

Ниже пара советов по надёжному эксплуатации:

• Для значимых операций всегда используйте двухфакторную аутентификацию;
• Не включайте функцию “Разблокировка по лицу” на бюджетных устройствах без ИК-сенсоров;
• Регулярно обновляйте прошивку программное обеспечение телефона для предотвращения угроз от современных угроз;
• Включайте функцию “Требовать открытых глаз” в тех местах, где она имеется.

В каких местах дополнительно находится применение технологии помимо смартфонов?

Несмотря на то, что тема нашей работы сосредоточена на конкретно смартфонам и планшетам, необходимо сказать о альтернативных областях использования технологии:

• Мониторинг доступа в рабочих помещениях и жилых домах;
• Платёжные аппараты финансовых учреждений (“Face Pay”);
• Виртуальные удостоверения личности современного поколения;
• Системы видеонаблюдения городских сервисов;
• Автоматизация отслеживания присутствия учебных заведений/вузов;
• Аутентификация участников ПК/ноутбуков.

Например: В столичном метро уже проверяется система оплаты проезда по лицу (“Face Pay”) — нужно лишь пройти через турникет без пластика или телефона! Схожие инициативы развиваются в Поднебесной (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким образом трансформируется технология в нынешнее время?

Всякий годик проявляются современные мысли для улучшения качества деятельности систем идентификации лиц:

1. Увеличивается чёткость сенсорных устройств — чем больше деталей фиксируется видеокамерой/датчиками глубины, тем меньше вероятность ошибки;
2. Совершенствуются искусственные интеллекты — современные структуры модели MobileNetV3 обеспечивают возможность скоростно обучаться новым особенностям облика пользователя непосредственно на девайсе без пересылки информации в облачное хранилище.
3. Улучшаются технологии антиспуфинга — теперь смартфоны способны различать настоящие анимированные лица от статичных фото/маскировок по мельчайшим микродвижениям.
4. Интеграция со умными устройствами — смарт-часы могут авто заблокировать телефон, если обладатель ушёл далеко.
5. Проявляются комбинированные механизмы — к примеру комбинирующие речевую опознание + физиономию + отпечаток пальца.

Вот, которые тенденции особенно востребованы на сегодняшний день:

1) Сокращение элементов

Изготовители намереваются уменьшить габариты отверстия (“чёлки”) под датчики на экране за счёт встраивания компактных ИК-излучателей прямо под стекло дисплея либо высувных модулей камеры.

2) Обработка прямо на девайсе

Для увеличения личной безопасности всё больше расчётов происходит внутри устройства без пересылки данных во внешний облачный услугу.

3) Стандартизация стандартов

Гугл активно пропагандирует эталон BiometricPrompt API, чтобы такие площадки, как вулкан россия, и все Android-программы могли взаимодействовать с различными типами биометрии единообразно.

Какое выбрать на сегодня?

Если тебе необходима наивысшая безопасность данных, выбирайте топовые аппараты со встроенным ИК-проектором или ToF-сенсором глубины.

• iPhone каждого новейших моделей
• Huawei Mate/P ряда
• Mi Expert
• Vivo X линейки
• Oppo Обнаружить X серий.

Если бюджет невелик – лучше предпочесть обычным методам безопасности (PIN-код/сканер пальца), а возможность “разблокировка по лицу”, такую как в вулкан россия, задействовать только как опциональную опцию удобства.

Каким образом увеличить удобство функционирования опции?

Есть несколько лайфхаков для пользователей, кто уже использует разблокировку через лицо:

1. Регулярно меняйте свою изображение-шаблон, если кардинально меняется внешний вид.
2. Не пренебрегайте очищать линзу передней камеры – пятна могут уменьшить точность!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего телефон сам запускает камеру как только вы поднимаете его.
4. В процессе регистрации постарайтесь удерживать голову неподвижно впереди камеры не допуская резкого наклона головы.
5. Задействуйте функцию “Attention Aware” (“Реакция на внимание”) – она блокирует смартфон, если вы отворачиваетесь от дисплея.

Будущее прогресса инноваций

В предстоящие периоды можно предвкушать возникновения полностью дистанционных способов опознания персоны сразу по нескольким биометрическим данным параметрам одновременно: лицо + речь + походка + жесты рук!

Также предполагается появление новых методов защиты личной информации – скажем, динамическое модификация электронного образца после каждой успешной авторизации, чтобы осложнить его копирование злоумышленниками.

Распознавание лиц – одна из наиболее интересных инноваций нашего эпохи! Она предоставляет взаимодействие со телефоном проще чем раньше, и такие аппы, как vulkan russia, могут в разы повысить ваш пользовательский опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, когда вы осведомлены, как устроена эта система внутри, – будете в состоянии вдумчиво подбирать свой будущий устройство!