AI 생체 테스팅과 표준화 현황 I _ 국내외 동향
안녕하세요. IMQA입니다.
어니컴과 STA는 현재 과기부/법무부가 함께 진행하는 AI 안면인식, 이상행동 실증 및 평가 사업을 진행 중이며 8개의 컨소시엄과 함께, 지난 2년 동안 성공적으로 프로젝트를 진행하고 있습니다.
이번 글에서는 AI 테스팅의 전문성을 알리기 위해 소프트웨어정책연구소(SPRi)에 실린 AI 생체 테스팅과 표준화 현황에 대해 이야기 합니다.
이 글은 어니컴과 STA가 함께 작성한 글로, 첫번째 포스팅에서는 국 내외 동향 및 과기부, 법무부에 적용된 생체인식 시나리오 및 검증 방법에 대해 설명드립니다. 두번째 포스팅에서는 생체인식 표준화에 대해 다룹니다.
저자 : 손영수 (어니컴), 스튜어트 리드 , 최영재 (STA 테스팅 컨설팅)
안면 인식 시장은 2015년 기준 2015년 1,521백만 달러에서 2020년 2,836백만 달러로 증가하여 매년 13.3% 성장하고 있다. 현재 중국(1:1 Verification 1위 - 특정인 A가 A 인지 비교하는 것), 일본 (1:N Identification 1위 - A라는 사람을 수많은 데이터를 이용해 식별해 내는 작업), 미국 기업(API 서비스 - 누구나 사용할 수 있는 서비스, SDK로 제공)들이 시장을 리딩하고 있다.
대한민국인 경우 선두 그룹과 기술력으로 종합 스코어에서 많은 격차가 존재한다. (NIST 미국 구립 기술 표준 연구소의 FRVR 안면인식 밴더 테스트 - 2020년 12월 기준 169개의 기업 중 28위) 이에 이러한 격차를 줄이기 위해, 과기정통부, 법무부가 협력하여 인천공항의 안면인식 데이터를 학습 데이터로 국내 업체에 제공을 하고 학습, 평가를 돕고 있다.
해외동향
먼저 해외 동향을 다루도록 하겠다. 얼굴 인식 테스트에 사실상 표준이라고 불리는 테스트로 FRVT (Face Recognition Vendor Test)가 있다. 매년 미국 국립표준기술연구소(NIST) 주최로 진행되는 안면인식 밴더 테스트이며, CCTV와 같이 임베디드 환경에서 성능을 측정하는 테스트다. 테스트 플랫폼으로 리눅스와 C 언어로만 테스트가 가능하다.
| FRVT 1:1 | 얼굴 인식 알고리즘 평가 몇 가지 다른 데이터 세트에서 FNMR (False Non-Match Rate)로 측정 된 최고 1 : 1 성능의 알고리즘 평가 (여권심사에 사용됨) |
| FRVT 1:N | FRVT 1:1에서 비자 사진 , 범죄자 사진 인식률이 높은 업체만 심사 참여 가능 다수의 아이덴티티가 등록된 갤러리를 검색하는 일 대 다 얼굴 인식 알고리즘의 정확도와 속도 향상을 측정 |
| FRVT MoRPH | 얼굴 탐지 알고리즘의 지속적인 평가 프로토 타입 얼굴 탐지 기술에 대한 지속적인 독립적 테스트를 제공 1. 스틸 사진의 (두명의 얼굴을 섞은) 모핑 을 감지하는 알고리즘 개발 2. 모핑에 대한 얼굴 인식 알고리즘 저항 |
| FRVT Quality Assesment | 얼굴 이미지 품질 평가 단일 이미지에서 품질 스칼라의 알고리즘 출력을 평가 |
| Face In Video Evaluation | 실시간 스트리밍이 아닌 1분 내외의 녹화한 비디오를 입력으로 주고 1분동안 다 읽은 후 결과를 반환 DB에 등록된 사람중에 유사도가 높은 순으로 여러 후보와 해당하는 유사도를 출력 |
| FRVT Face Mask Effert | 전 세계 COVID-19 사태 이후, 2020년 신설된 테스팅으로 마스크를 쓴 대상에 대해서 1:1 테스트를 진행 |
또 다른 대표적인 테스트로는 미국 국무부에서 제공하는 MdTF (Maryland Test Facility) 테스트가 있다.
미 국무부는 MdTF (Maryland Test Facility)을 통해 2018년부터 생체인식 기술 랠리(Biometric Technology Rally)를 개최하고 있다. 다양한 업체 참여를 위해 테스트 인터페이스를 Restful API로 제공하고 있다. 안면인식, 지문 인식, 홍채 인식 3 분야를 다 측정함 (2019년 텐센트가 1위) FRVT와 달리 이미지가 아닌 실제 사람으로 이루어지며 테스트에 참여한 사람의 만족도를 측정한다. 크게 유효성, 효율성, 만족도를 지표로 삼고 있다.
| 이미지 획득 시스템 평가 |
ㅇ RESTful API (HTTP) 로 통신 ㅇ 평가 항목 - Failure to Acquire Rate - 이미지 획득 시간: 평균 10 초 이내 충족해야함 - True Identification Rate: 보유한 여러 매칭 알고리즘 수행후 95 % 이상 식별해 내는가? - 획득한 이미지가 여러 매칭 알고리즘에서 일관성 있게 동작 하는가 - 사용자들의 만족도를 평가에 반영함 |
| 매칭 알고리즘 평가 | ㅇ RESTful API HTTP 서버 기능이 있는 docker container를 제공 ㅇ 이미지를 입력으로 받아 이미지 성질을 분석해 저장한 템플릿 출력 ㅇ 평가 항목 - True Identification Rate 와 False Matching Rate 비율 1:10,000, 1:100,000, 1:1,000,000 - 충족 조건: FMR 1:10,000에서 정확도 95% 이상 - 각각 이미지 획득 시스템으로부터 얻어진 이미지를 사용하여 측정 - 이미지 획득 시스템에 민감하지 않게 잘 작동 하는가 - 인식을 성공하든, 실패하든 최대 20초, 평균 5초 이내 수행 |
국내동향
국내의 대표적인 생체인식 테스팅 사례로는 2019년, 2020년 과학 기술 정보통신부와 법무부가 범부처 협력사업으로 진행한 AI 식별추적 시스템 실증 사업이 있다. 어니컴과 STA테스팅컨설팅이 법무부 공항내 실증을 위한 학습 및 검증환경을 상암동 누리꿈스퀘어에 구축하여 제공하고 있으며 다음과 같은 테스트를 진행해 왔다.
| 1:1 | 두 장의 사진을 입력으로 받아 사진 속의 두 사람이 같은 사람인지 다른 사람인지를 판단하는 능력을 평가 |
| 1:N | 한 장의 사진을 입력으로 받아 사전에 등록된 사람 중 누구인지 혹은 등록되지 않은 사람인지를 판단하는 능력을 평가 |
| 실시간 동영상 1:N |
자유로이 움직이는 사람들의 얼굴을 인식하고 미리 등록된 사람 중 누구인지 혹은 등록되지 않은 사람인지를 판단하는 능력을 평가 |
| 실시간 동영상 이상행동 파악 |
큰 영역에서는 4대의 카메라로 돌진, 역주행, 물건방치, 2인 감지 작은 영역에서는 2대의 카메라로 돌진, 역주행, 물건방치, 2인 감지 |
| 시스템 안정성 평가 |
장기간 시스템을 테스트 하여 안정성 테스트를 진행함. 앱 비정상 종료/ 크래시 발생시 원인 파악이 가능한 코드 레벨의 리포트 전달 Netflix사에서 사용하는 USE 메소드를 활용한 자원 기반 성능 분석 리포트 전달 |
한국 인터넷 진흥원이 FRVT 테스트를 준용한 얼굴인식 알고리즘 성능시험을 제공하고 있다. 동영상 테스트도 제공을 하고 있으며, 1분 파일 영상을 다 읽은 후 결과를 전송하는 형태로 되어 있다.
국내외 생체 시스템 개발 또는 상용화 동향
인천국제공항에서는 여권과 탑승권 없이 간단한 얼굴 인식만으로 출국 가능한 시스템을 구축했다. 개인의 인식 정보로 탑승권, 여권 등 종이 서류를 대체하는 ‘스마트패스’ 서비스가 시범 도입되었으며, 지문과 얼굴 등의 인식 정보 활용하고 있다. 이로 인해 출입국 심사가 평균 1인당 15초로 줄고, 92~94% 의 정확도를 가지고 있다.
미국 샌프란시스코 대학교는 기숙사 보안을 강화하기 위해 얼굴인식 인공지능 시스템을 도입함. 얼굴인식 인공지능 출입 시스템으로 허가된 출입자인지 판단하고 기숙사 출입을 허가하기 때문에 외부인 출입으로 인한 부정적인 사건이 줄어들게 되었다.
자동차 렌트회사인 허츠 (Hertz)사는 사전 등록된 고객들을 위해 허츠 패스트 레인이라는 생체인식 서비스를 제공하고 있으며, 이는 렌탈 프로세스 시간을 75% 단축시켰다. 허츠는 이 서비스를 2019년 말까지 40개 이상의 주요 공항에 출시하였다.
과기부, 법무부에 적용된 생체인식 시나리오 및 검증 방법
여권사진과 출입국자가 동일인인지 판단하는 1:1 매칭, 출입국자가 DB에 기 등록된 사람들 중 누구인지 판단하기 위한 1:N 매칭기술을 개발하며, 이미지와 동영상 정보를 처리하도록 개발하였다. 동영상 테스트는 실시간 스트리밍 되는 데이터를 기반으로 테스트 하였다.
검증 방법은 이미지 기반의 테스트(동일인 감지, 등록인/비등록인 식별 테스트) 와 동영상 기반의 테스트(동일인 감지, 등록인/비등록인 식별, 실시간 이상행동 감지, 실시간 이상행동 감지 및 행위자 식별)로 나뉘며, 다음과 같이 시스템을 구축하였다.
사진 검증은 실증서버가 평가 서버에게 사진을 요청한다. 평가 서버는 요청된 사진을 실증서버가 동시 다발적으로 다운받을 수 있도록 제공한다.
동영상 검증은 실증서버가 평가 서버에게 동영상을 요청한다. 평가서버는 미디어 서버가 동영상을 송출할 수 있도록 동영상 재생을 요청한다. 미디어 서버는 동영상 재생 요청을 받으면 RTMP 프로토콜을 이용해 정해진 URL로 동영상 송출을 시작한다. 많은 스트리밍 프로토콜 중에 RTMP 프로토콜을 선정한 이유는 실시간 스트리밍 프로토콜 중에 네트워크 속도에 따라 품질이 변경되지 않는 고정 비트레이트를 지원하기 때문이다.
2편에서는 'AI 생체 테스팅과 생체인식 표준화'에 대해 다룹니다. 많은 관심 부탁드립니다 :)
AI 테스팅 및 기초 데이터 안면인식에 대한 방법에 대한 문의 사항은 아래로 연락 부탁드립니다.
AI 테스팅 및 기초 데이터 안면인식에 대한 문의
백민경 차장 (정) - mkbaek@onycom.com
손영수 상무 (부) - ysson@onycom.com