AI 안면인식 테스트 I - 해외 동향
어니컴은 현재 과기부/법무부가 함께 진행하는 AI 안면인식, 이상행동 실증 및 평가 사업을 진행하고 있습니다. 8개의 컨소시엄과 함께, 지난 2년 동안 성공적으로 프로젝트를 진행하고 있으며 AI 테스팅의 전문성을 알리기 위해 안면인식 테스팅에 대한 포스팅을 시작합니다.
시장성 측면
안면 인식 시장은 2015년 기준 2015년 1,521백만 달러에서 2020년 2,836백만 달러로 증가하여 매년 13.3% 성장하고 있습니다.
현재 중국(1:1 Verification 1위 - 특정인 A가 A 인지 비교하는 것), 일본 (1:N Identification 1위 - A라는 사람을 수많은 데이터들을 이용해 식별해 내는 작업), 미국 기업(API 서비스 - 누구나 사용할 수 있는 서비스, SDK로 제공)들이 시장을 리딩하고 있습니다.
대한민국인 경우 선두 그룹과 기술력으로 종합 스코어에서 많은 격차가 존재합니다. (NIST 미국 구립 기술 표준 연구소의 FRVR 안면인식 밴더 테스트 - 2020년 1월 기준 127개의 기업 중 61위)
이에 이러한 격차를 줄이기 위해, 과기정통부, 법무부, 정보통신산업진흥원이 협력하여 인천공항의 안면인식 데이터를 학습 데이터로 국내 업체에게 제공을 하고 학습, 평가를 돕고 있습니다. 어니컴/STA 테스팅은 여기서 학습/ 평가 / 표준화를 돕고 있습니다.
해외 사례
해외에서는 안면인식 테스트에 대해 국가가 이미 나서서 방대한 데이터 셋으로 검증을 해주고 있습니다.
1) 미국 국립기술연구소 주최 FRVT (Face Recognition Vendor Test - 안면인식 밴더 테스트)
크게 5가지의 테스트 유형을 제공하고 있으며, 미국 기업이 아니더라도 누구나 참여를 할 수 있습니다.
| FRVT 1:1 | 얼굴 인식 알고리즘 평가 다양한 데이터 세트에서 FNMR (False Non-Match Rate)로 측정된 최고 1 : 1 성능의 알고리즘 평가 |
| FRVT 1:N | FRVT 1:1에서 비자 사진 , 범죄자 사진 인식률이 높은 업체만 심사 참여 가능 다수의 아이덴티티가 등록된 갤러리를 검색하는 일 대 다 얼굴 인식 알고리즘의 정확도와 속도 향상을 측정 |
| FRVT MoRPH | 얼굴 탐지 알고리즘의 지속적인 평가 프로토 타입 얼굴 탐지 기술에 대한 지속적인 독립적 테스트를 제공 1. 스틸 사진의 얼굴 모핑 (모핑 / 블렌드 된 얼굴)을 감지하는 알고리즘 기능 2. 모핑에 대한 얼굴 인식 알고리즘 저항 |
| FRVT Quality Assesment | 얼굴 이미지 품질 평가 단일 이미지에서 품질 스칼라의 알고리즘 출력을 평가 |
| Face In Video Evaluation | 1분 내외의 녹화한 비디오를 입력으로 주고 1분 동안 다 읽은 후 결과를 반환 (영상에 1사람, 여러 사람, 사람이 없을 수도 있음) DB에 등록된 사람 중에 유사도가 높은 순으로 여러 후보와 해당하는 유사도를 출력 |
2) 미국 국토안보부 MdTF (Maryland Test Facility)
국부는 MdTF (Maryland Test Facility)을 통해 2018년부터 생체 인식 기술 랠리(Biometric Technology Rally)를 개최하고 있습니다.
- 다양한 업체 참여를 위해 테스트 인터페이스를 Restful API로 제공함.
- 안면인식, 지문 인식, 홍채 인식 3 분야를 다 측정함 (2019년 텐센트가 1위)
- 이미지가 아닌 실제 사람 참여해 테스트를 측정/사람의 만족도 또한 측정함
- 유효성, 효율성, 만족도를 지표로 삼고 있음.
| 이미지 획득 시스템 평가 | ㅇ 평가 항목 - Failure to Acquire Rate - 이미지 획득 시간: 평균 10 초 이내 충족 - True Identification Rate: 보유한 여러 매칭 알고리즘 수행 후 95 % 이상 식별해 내는가? - 획득한 이미지가 여러 매칭 알고리즘에서 일관성 있게 동작하는가 - 사용자들이 평가 반영 |
| 매칭 알고리즘 평가 | ㅇ RESTful API HTTP 서버 기능이 있는 docker container를 제공 ㅇ 이미지를 입력으로 받아 이미지 성질을 분석해 저장한 템플릿 출력 ㅇ 평가 항목 - True Identification Rate 와 False Matching Rate 비율 1:10,000, 1:100,000, 1:1,000,000 - 충족 조건: FMR 1:10,000에서 정확도 95% 이상 - 각각 이미지 획득 시스템으로부터 얻어진 이미지를 사용하여 측정 - 이미지 획득 시스템에 민감하지 않게 잘 작동하는가 - 인식을 성공하든, 실패하든 최대 20초, 평균 5초 이내 수행 |
3) 영국 정부의 i-LDS 지능형 CCTV 인증 평가
영국에서는 정부가 i-LDS(Imagery Library for Detection Systems)를 설립하고, 100,000m²의 부지에서 다양한 환경 및 행위에 대해 CCTV 솔루션 테스트 진행
국내 사례
국내 사례로는 과기부/법무부가 이끌고 있는 공항의 안면인식/이상행동 테스트 사례가 있습니다. 이 부분은 2019년부터 어니컴 (주관) / STA 테스팅 컨설팅(참여) 컨소시엄이 이끌고 있으며 이후 다른 영상으로 소개하도록 하겠습니다.
AI 테스팅 및 기초 데이터 안면인식에 대한 방법 대한 문의
백민경 차장 (정) - mkbaek@onycom.com
손영수 상무 (부) - ysson@onycom.com