휴대폰 잠금을 풀 때도, 공항 출입국 심사대를 지날 때도 이제는 얼굴을 보여 주는 것으로 충분한 경우가 많습니다. 비밀번호를 외우거나 카드를 들고 다닐 필요가 없으니 편하지만, 시스템 안에서 무슨 일이 일어나는지는 잘 드러나지 않습니다.
얼굴인식은 카메라로 찍은 얼굴을 미리 등록해 둔 데이터와 비교해 본인인지 가리는 기술입니다. 그 뒤에는 수학 알고리즘과 인공지능 모델이 단계별로 맞물려 있습니다.
이 글에서는 얼굴인식이 얼굴을 찾고, 숫자로 바꾸고, 비교해 판정하는 3단계 원리와 이를 받치는 딥러닝 구조, 위조를 막는 장치, 성능을 재는 지표를 차례로 정리합니다.
1. 얼굴인식은 3단계로 동작합니다
단계 | 하는 일 | 쓰이는 기술 |
1) 감지·정규화 | 사진에서 얼굴 영역을 찾고 촬영 조건을 고르게 맞춤 | 하르(Haar) 특징, 히스토그램 기반 알고리즘, CNN 딥러닝 모델 |
2) 특징 추출·벡터 변환 | 얼굴의 고유한 특징을 숫자 묶음으로 바꿈 | 딥러닝 임베딩(Embedding) |
3) 유사도 측정·판정 | 등록된 기준값과 비교해 본인 여부를 결정 | 유클리디안 거리, 코사인 유사도, 임계값 |
1) 얼굴을 찾고 조건을 맞추기
카메라가 받은 이미지에서 시스템이 처음 하는 일은 얼굴이 어디 있는지 찾는 것입니다. 예전에는 하르 특징이나 히스토그램 기반 알고리즘을 썼고, 요즘은 CNN 기반 딥러닝 모델이 주로 맡습니다.
얼굴을 찾으면 정규화를 거칩니다. 조명, 각도, 크기처럼 사진마다 다른 조건을 보정해 분석하기 좋은 상태로 바꾸는 과정입니다.
2) 특징점을 뽑아 벡터로 바꾸기
다음은 얼굴마다 다른 부분을 숫자로 옮기는 단계입니다.
•
눈·코·입의 위치와 모양
•
얼굴 윤곽선
•
각 부위 사이의 거리와 비율
지금은 딥러닝 임베딩 기술로 이 특징들을 고차원 벡터로 바꿉니다. 사람마다 고유한 값을 갖는 이 벡터가 얼굴인식에서 가장 중요한 데이터입니다.
3) 비교해서 판정하기
뽑아낸 벡터를 저장된 기준 벡터와 견줍니다. 두 벡터가 얼마나 비슷한지는 유클리디안 거리나 코사인 유사도 같은 공식으로 계산합니다.
계산값이 미리 정한 임계값을 넘으면 본인으로 인증하고, 넘지 못하면 거부합니다. 이렇게 등록된 기준 얼굴 하나와 지금 얼굴을 맞대는 방식이 1:1 대조입니다.
2. 딥러닝은 어떤 역할을 할까요?
1) CNN: 얼굴의 미세한 특징까지 학습
현재 얼굴인식 시스템의 중심에는 합성곱 신경망(CNN)이 있습니다. CNN은 이미지의 국소적인 특징을 잘 배우기 때문에 얼굴의 작은 차이도 잡아냅니다.
합성곱 층과 풀링 층을 여러 번 지나면서 점점 복잡한 특징을 익히고, 마지막에는 사람을 서로 구별할 수 있는 고유한 표현을 만들어 냅니다.
2) Siamese Network와 Triplet Loss
최근 시스템에서는 Siamese Network 구조를 많이 씁니다.
1.
같은 가중치를 공유하는 신경망 두 개가 서로 다른 얼굴 이미지를 하나씩 처리합니다.
2.
두 결과를 비교합니다.
3.
Triplet Loss 함수로 학습시켜, 같은 사람끼리는 거리가 가까워지고 다른 사람끼리는 멀어지게 만듭니다.
두 얼굴이 같은 사람인지를 가려야 하는 1:1 대조와 같은 문제 구조입니다.
3. 인식 방식과 보안 장치
1) 2D와 3D 얼굴인식
구분 | 2D 얼굴인식 | 3D 얼굴인식 |
입력 | 평면 이미지 | 깊이 정보를 담은 3차원 데이터 |
측정 수단 | 평면 이미지 촬영 | 적외선 센서, 구조광(Structured Light) |
장점 | 저렴하고 구현이 간단 | 더 정확하고, 각도·조명 변화에 비교적 강함 |
2) 라이브니스: 진짜 사람인지 확인
얼굴인식이 아무리 정확해도, 사진이나 동영상을 카메라에 비추는 스푸핑 공격을 막지 못하면 소용이 없습니다. 그래서 라이브니스 검증이 핵심 요소로 꼽힙니다.
•
눈 깜빡임 감지
•
머리 움직임 추적
•
미세 표정 분석
•
고급 시스템에서는 혈류 패턴, 피부 질감 분석
3) 얼굴 정보는 어떻게 보호할까요?
얼굴 특징 벡터는 AES-256 같은 강력한 암호화 알고리즘으로 보호합니다. 데이터베이스에 넣을 때도 해시 함수를 거쳐 원본으로 되돌릴 수 없게 처리합니다.
템플릿 보호 기법을 쓰면 생체 정보를 그대로 저장하지 않고 변환한 형태로만 보관할 수 있습니다.
4. 성능은 무엇으로 평가할까요?
1) FAR과 FRR
지표 | 뜻 | 높으면 생기는 문제 |
FAR(False Acceptance Rate) | 다른 사람을 본인으로 잘못 받아들이는 비율 | 타인이 인증을 통과 |
FRR(False Rejection Rate) | 본인을 다른 사람으로 잘못 거부하는 비율 | 정상 사용자가 인증에 실패 |
두 지표는 한쪽을 낮추면 다른 쪽이 오르기 쉽습니다. 서비스 성격에 맞는 균형점을 찾는 것이 최적화의 핵심입니다. 앞에서 본 임계값을 어디에 두느냐가 바로 이 균형을 정합니다.
2) 실시간 처리를 위한 하드웨어 최적화
•
GPU 가속으로 병렬 처리
•
NPU(Neural Processing Unit)로 AI 연산 최적화
•
양자화(Quantization)로 모델 경량화
•
엣지 환경에서는 모델 압축으로 정확도 손실을 줄이면서 연산량을 크게 낮춤
5. 유스비 얼굴 인증으로 비대면 본인확인 완성하기
얼굴인식 원리를 서비스에 적용하면, 신분증 사진과 지금 촬영한 얼굴이 같은 사람인지 확인하는 비대면 본인확인이 됩니다.
유스비는 AI 기업 알체라의 자회사이자 RegTech 전문기업으로, 금융·핀테크 사업자를 위한 eKYC를 제공합니다.
1) 신분증 확인부터 얼굴 1:1 매칭까지
•
신분증 OCR·진위확인·사본판별: 주민등록증·운전면허증·여권·외국인등록증 4종을 읽고, 진짜 신분증인지와 실물 촬영인지를 확인
•
얼굴 1:1 매칭: 신분증 사진과 지금 촬영한 얼굴을 대조
•
라이브니스: 사진·화면을 비추는 위조 시도를 먼저 걸러냄
필요한 단계만 골라 기존 인증 흐름에 더할 수 있습니다.
2) 고객사 환경에 맞춘 연동
API·SDK·eKYC 형태로 제공하고 고객사 시스템과 인증 범위를 확인한 뒤 연동 방식을 함께 설계하며, 전담 기술 인력이 초기 세팅부터 안정화까지 지원합니다.
3) 금융서비스 수준의 보안
•
보안 요건에 따라 SaaS와 온프레미스 중 선택
•
ISMS 자발적 취득 후 4년 연속 갱신, 코스콤 금융 클라우드에서 데이터 관리
•
통신 구간 TLS 1.3, 데이터 AES-256 암호화
얼굴인식은 '비교'만큼 '진짜 얼굴인지'가 중요합니다
얼굴인식은 얼굴을 찾고, 특징을 벡터로 바꾸고, 기준값과 비교하는 세 단계로 움직입니다. 다만 실제 서비스에서는 비교 정확도만큼 라이브니스로 위조를 걸러내는 일, 얼굴 정보를 안전하게 다루는 일이 함께 갖춰져야 믿고 쓸 수 있습니다.
비대면 가입에서 신분증 주인과 지금 사용자가 같은 사람인지 확인해야 한다면 유스비와 상담해 보세요!






