행정안전부는 국립과학수사연구원과 함께 인공지능(AI) 기술을 접목해 딥페이크 의심 이미지·영상·음성의 진위를 판별하는 ‘AI 딥페이크 분석모델’을 4월까지 개발과 검증을 마치고 딥페이크 범죄 수사에 약 두 달간 활용한 성과를 공개했다.

‘AI 딥페이크 분석모델’은 경찰청 등 일선 수사기관의 감정 의뢰를 받아 올해 5~6월 두 달간 증거물 60종, 총 15건의 딥페이크 감정을 성공적으로 수행했다.

특히, 제21대 대통령 선거 기간 중 중앙선거관리위원회에 분석모델을 공유해 유튜브 등 온라인 공간의 불법 딥페이크 선거물 1만여 건을 탐지 및 삭제하는 데에 기여했다.

이번 모델 개발은 과거 기술적 한계로 수행하지 못했던 딥페이크 감정을 국내 최초로 공식화하고, 과학적 증거에 기반한 수사체계를 마련했다는 점에서 의미가 크다.

행정안전부와 국립과학수사연구원은 분석모델을 딥페이크 증거물 감정 업무에 본격 투입함으로써 딥페이크 범죄 수사에 획기적인 전환점이 마련될 것으로 기대하고 있다.

‘AI 딥페이크 분석모델’은 최근 인공지능 기술을 악용해 특정인의 얼굴 등을 합성한 딥페이크 범죄가 폭발적으로 증가하며 심각한 사회 문제가 됨에도, 딥페이크 판별 기술이 부족해 수사기관이 관련 증거물 분석에 어려움을 겪는 상황을 극복하기 위해 개발됐다.

모델 개발 과정에서는 공개 데이터셋, 자체 제작 콘텐츠 등 약 231만 건(영상 69만 건, 음성 162만 건)에 달하는 딥페이크 데이터가 활용됐다.

이후, 최신 딥러닝 알고리즘에 방대한 데이터를 학습시키고, 지속적인 피드백과 성능 개선 작업을 거쳐, 딥페이크 탐지 성능을 획기적으로 향상시켰다.

이렇게 개발된 ‘AI 딥페이크 분석모델’은 딥페이크 흔적을 자동으로 탐지하며, 변조 의심 파일(이미지·영상·음성)에 대해 합성 확률 및 시간별 변조율을 예측해 딥페이크 여부를 신속하게 판단할 수 있도록 돕는다.

특히, 얼굴의 눈, 코, 입과 같은 특정 부위별 변조 탐지 능력과 함께, 반복된 업로드·다운로드로 인해 일부 데이터가 손실되거나 음질이 저하된 증거물에 대해서도 뛰어난 분석 능력을 갖추어 실질적인 수사 환경에서 그 효과를 발휘할 수 있도록 설계됐다.

행정안전부와 국립과학수사연구원은 이번 ‘AI 딥페이크 분석모델’의 성과를 2023년 행정안전부가 개발한 ‘보이스피싱 음성 분석모델’과 연계해 더욱 강력한 시너지를 낼 수 있도록 할 계획이다.

두 모델을 함께 활용하면 딥페이크 여부를 판별하고, 해당 딥페이크가 특정 정치인 등의 음성을 모방·합성해 제작됐는지까지 입증할 수 있을 것으로 기대된다.

행정안전부와 국립과학수사연구원은 앞으로 ‘AI 딥페이크 분석모델’의 활용 범위를 더욱 확대해 나갈 계획이다.

우선, 국립과학수사연구원 내부적으로는 현재 독립형 방식으로 운영 중인 모델을 향후 디지털증거물인증시스템(DAS)에 통합해 업무 효율성을 더욱 높일 예정이다.

또한, 딥페이크 문제로 어려움을 겪고 있는 다른 기관(여성가족부, 방송통신위원회 등)에도 본 모델을 단계적으로 확산해, 각 기관의 딥페이크 콘텐츠 탐지 및 대응 역량 강화를 적극 지원할 예정이다.

이봉우 국립과학수사연구원장은 “AI 기술 기반의 과학수사 역량 강화를 통해 감정의 신속성과 정확성을 높이는 데 최선을 다하겠다”며, “빠르게 변화하는 첨단 기술 환경에 선제적으로 대응해 국민이 신뢰할 수 있는 과학수사체계를 구축하겠다”고 강조했다.

이용석 디지털정부혁신실장은 “‘AI 딥페이크 분석모델’은 인공지능 기술을 사회 문제 해결에 적극적으로 활용한 사례”라고 강조하며, “앞으로도, 행안부는 AI와 데이터 분석을 국민의 안전과 민생 안정을 위한 행정 분야에 적극적으로 도입해 나갈 것”이라고 밝혔다.