#딥페이크가 온다

진짜보다 진짜 같은 가짜, ‘딥페이크’의 등장

딥페이크는 AI 기술의 일종인 ‘딥러닝(Deep learning)’ 기술과 ‘가짜’를 뜻하는 ‘페이크(fake)’의 합성어다. 이 용어가 처음 세상에 등장한 것은 2017년이다. 미국의 온라인 커뮤니티 ‘레딧(Reddit)’에서 AI 합성 영상을 게재하던 이용자의 아이디가 ‘Deepfakes’라는 데서 유래됐다. 해당 유저는 AI 오픈소스 ‘텐서플로(TensorFlow)’로 연예인과 음란물 영상을 합성해 유포했다. 이는 사회적으로 큰 논란이 됐고, 이후 미디어와 AI학계를 중심으로 AI 기반 이미지 합성 기술을 ‘딥페이크’라고 부르게 됐다.

딥페이크의 기반이 되는 기술은 ‘적대관계생성신경망(GAN)’이다. 2014년 미국 컴퓨터 과학자 이안 굿펠로우가 발표한 동명의 논문 ‘Generative Adversarial Networks’에서 처음 소개됐다. GAN은 두 개의 인공신경망을 활용한다. 거짓 데이터를 만드는 ‘생성신경망’과 생성신경망이 만든 이미지가 진짜인지 가짜인지 구분하는 ‘판별신경망’이다. 두 신경망의 경쟁이 반복되면 최종적으론 현실과 거의 유사한 이미지가 생성된다.

현재 딥페이크로 만든 이미지·영상은 육안으론 거의 구별 불가능하다. 2022년 영국 랭커스터대·미국 캘리포니아대 공동 연구팀은 315명의 참가자에게 800장의 사진 중 128장을 뽑아 실제인지 합성인지 구별하게 했다. 800장의 사진 중 400장은 실제 사람의 사진이, 나머지 400장은 AI가 합성한 사진이었다. 실험 결과, 참가자들의 사진 구분 정확도는 48.2%였다. 대다수 사람들이 실제 얼굴 사진과 AI 합성 얼굴 사진을 구별하는 데 실패한 것이다.

미디어·콘텐츠부터 의료 산업까지 무궁무진한 활용 가능성

영화 <아이리시맨>에서 딥페이크 기술로 재탄생한 로버트 드니로의 젊은 시절 모습
(출처 : 네이버 영화)

우수한 기술력 덕분에 딥페이크 활용 가능성에 대한 기대감도 크다. 글로벌시장조사업체 ‘마켓앤마켓(Markets and markets)’은 2024년 딥페이크 기술 산업 규모가 70억 달러(한화 9조 3,240억 원)일 것으로 추정했다. 오는 2030년에는 연평균 성장률(CAGR) 33.5%를 보이며 385억 달러(한화 51조 2,820억 원)에 이를 것으로 내다봤다.

딥페이크를 가장 적극적으로 이용하는 산업 분야는 ‘미디어·콘텐츠’다. 대표적 예는 2019년 마틴 스코세이지 감독이 제작한 영화 ‘아이리시맨’이다. 이 영화에서 제작진은 로버트 드니로 등 고령의 배우들의 젊은 시절을 AI 기술로 합성했다. 딥페이크의 일종인 ‘디에이징’ 기술이 사용됐다. 또한 고인(故人)이 된 유명인의 모습도 재현 가능하다. 지난해 12월 JTBC에서 방영한 드라마 <웰컴투 삼달리>에는 딥페이크로 재현한 가수 송해가 등장했다.

‘버추얼 휴먼(Virtual Human)’도 관련 산업 중 하나다. 버추얼 휴먼은 인간의 모습을 그래픽으로 구현한 가상 인간이다. 실제 인간 모델을 촬영한 후 딥페이크를 이용, 가상으로 제작한 얼굴을 합성하는 것이다. AI가 실시간으로 인간 모델의 안면 근육 변화를 분석하고 거기에 맞는 가상 얼굴 및 표정을 생성하기 때문에 실감나는 얼굴 구현이 가능하다.

의료 분야에서도 딥페이크의 활용 가능성은 높다. 2019년 7월 독일 뤼벡대(University of Lübeck) 의료정보학연구소 연구진은 원본 영상과 거의 구별이 불가능한 딥페이크 의료 영상을 만들었다. 이 영상은 AI의 질병 진단 학습 정확도를 높이는 데 사용됐다. 환자의 개인정보침해, 부족한 의료 데이터 보충에 큰 보탬이 된 것으로 평가받는다.

독일 뤼벡대 의료정보학연구소 연구진이 만든 3D 딥페이크 뇌 MRI 사진
(출처 : University of Lübeck)

합성 음란물, 가짜뉴스, 금융사기··· 악용 사례에 ‘몸살’

그러나 이 같은 딥페이크의 우수한 기술력 때문에 부작용도 급증하고 있다. 대표적 악용 사례는 ‘합성 음란물 유포’다. 영국 사이버보안회사 ‘딥트레이스’에 따르면 2019년 제작된 딥페이크 영상의 수는 14,698개. 이중 96%가 음란물이었다.

세계적 팝스타 테일러 스위프트도 딥페이크 음란물 유포로 몸살을 앓았다. 1월 ‘X(트위터)’와 텔레그램에서 스위프트의 합성 영상이 유포됐다. X는 영상 유포를 막기 위해 ‘테일러 스위프트’ 또는 ‘테일러 스위프트 AI’의 검색을 제한한 후 이미지를 모두 삭제했다.

‘가짜뉴스 유포’도 심각한 문제다. 각국 유력 정치인 및 인사들의 딥페이크 영상은 사회적 혼란을 불러오고 있다. 지난해 5월 힐러리 클린턴 전 미국 국무장관이 상대 공화당 대선 후보를 지지한다는 딥페이크 영상이 유포됐다. 조 바이든 대통령은 성차별 논란 가짜 영상으로 홍역을 치렀다. 한국도 안전지대가 아니다. 최근 온라인상에선 윤석열 대통령의 연설을 부정적으로 왜곡한 딥페이크 영상이 유포돼 논란이 일었다.

금융사기 관련 범죄도 심각하다. 올해 2월 홍콩의 한 다국적기업 재무담당자는 딥페이크에 속아 약 2억 홍콩달러(한화 342억 원)를 범죄자에게 송금했다. 범죄자들은 AI로 실제 회사 직원의 얼굴과 목소리, 말투 등을 똑같이 흉내 내 재무담당자를 속인 것으로 알려졌다.

국가 안보에 있어서도 딥페이크는 위협적 존재다. 지난 2022년 3월 16일 우크라이나 TV 채널 <우크라이나24>에 볼로디미르 젤렌스키 우크라이나 대통령이 러시아에 항복한다는 영상이 방송됐다. 러시아 출신 추정 해커들이 채널을 해킹해 방영한 것이다. 이 영상은 AI 영상 합성 오픈소스 ‘딥페이스랩(DeepfaceLab)’ 소프트웨어로 제작한 것으로 추정된다.

대응 기술도 발전···
딥페이크 잡는 AI

딥페이크로 인한 부작용이 커지면서 대응 방안도 발전하고 있다. 최근엔 AI를 활용한 딥페이크 탐지 기술이 떠오르고 있다. AI의 뛰어난 이미지 분석 능력을 역으로 활용하는 것이다. 영상 속 사람의 얼굴은 매우 미세한 픽셀 단위로 저장된다. 때문에 사람의 눈으론 구분할 수 없지만 얼굴의 미세한 혈류 변화도 나타난다. 이를 AI가 분석해 실제 사람의 얼굴에서 나타날 수 있는 혈류 변화가 아닌 신호를 감지한다.

현재 딥페이크 탐지 기술 개발의 대부분은 기업에 의존하고 있다. 인텔(Intel)은 2022년 11월 딥페이크 탐지 AI ‘페이크 캐처(FakeCatcher)’를 공개했다. 뉴욕주립대 연구진과 협력해 개발한 이 AI 모델은 96%의 정확도로 딥페이크 영상을 잡아낸다. 밀리초(ms, 1,000분의 1초) 단위로 동영상을 쪼갠 후, 얼굴의 혈류 변화 등 각 시간대에서 어색한 부분을 찾아낸다. 이와 유사한 기술을 마이크로소프트(MS)도 개발했다. ‘비디오 어센터케이터(Video AI Authenticator)’이다. 2020년 미국 대선 기간에 딥페이크 가짜뉴스가 퍼지는 것을 막기 위해 개발됐다.

유럽에서는 딥페이크 방지 AI로 ‘센티널(Sentinel)’이 주로 이용된다. 이는 에스토니아 AI 플랫폼 기업 ‘센티널’에서 개발한 동명의 AI 모델이다. ‘파수꾼’을 뜻하는 센티널은 현재 유럽 정부 및 국방 기관, 기업 등에서 사용되고 있다. 이 시스템은 웹사이트, API 등에 딥페이크 의심 영상을 업로드하면 AI 위조 여부를 자동 분석해 준다.

국내에서는 딥브레인AI에서 관련 솔루션을 제공 중이다. 딥브레인AI의 딥페이크 탐지기는 ‘합성곱 신경망(CNN)’과 ‘트랜스포머(Transformer)’ 모델을 기반으로 제작됐다. CNN은 영상·이미지 분석에 특화된 AI 알고리즘이다. 이를 통해 영상뿐만 아니라 이미지, 음성 조작 여부까지 검출 가능하다.

인텔의 딥페이크 탐지기 ‘페이크 캐처(FakeCatcher)’
(출처 : 인텔) 딥브레인AI가 제공하는 딥페이크 탐지 솔루션. 영상, 이미지, 음성 딥페이크 탐지가 가능하다.
(출처 : 딥브레인AI)

딥페이크 규제도 강화···
영상 출처 확인 등
개인별 주의도 필요

딥페이크 관련 규제도 강화되고 있다. 유럽연합(EU)은 지난 2월 전 세계 최초로 ‘인공지능 규제법’을 통과시켰다. 이 법안에는 딥페이크를 생성하거나 조작하는 AI 사용자는 명확히 콘텐츠가 AI로 생성 또는 조작됐다는 점을 공개해야 한다고 명시됐다.

국내에서는 네이버, 카카오 등 플랫폼을 중심으로 딥페이크 대응이 이뤄지고 있다. 네이버는 올해 2월부터 카페나 블로그에 콘텐츠 업로드 시 딥페이크 영상에 대한 주의 문구를 노출 중이다. 자체 AI 콘텐츠 필터링 기술인 ‘그린아이’로 유해 딥페이크도 실시간 차단 중이다. 카카오는 딥페이크 등 AI 어뷰징 관련 기술대응팀을 별도 운영 중이다. 다음(Daum)에는 유해 딥페이크 이미지·영상 차단 AI 기술도 도입 중이다.

정부 차원의 대응책 마련도 이뤄지고 있다. 과학기술정보통신부에서는 ‘범부처 디지털 신질서 정립 추진계획’에 따라 디지털 심화 시대의 핵심 쟁점 8개를 선별해 집중 관리한다. 이때 8개 쟁점 중 ‘딥페이크를 활용한 가짜뉴스 대응 방안’이 포함된다. 정부는 해당 과제에 대해 집중적인 사회적 공론화와 제도 개선에 나선다는 계획이다.

기술, 규제뿐만 아니라 딥페이크 악용에 대응하기 위한 개개인의 주의도 필요하다. 보통 딥페이크 영상의 경우 화질이 떨어지는 경우가 많다. 원본 영상에 다른 이미지를 합성하는 과정에서 화질이 저하되기 쉬워서다. 따라서 품질이 낮은 비디오는 워터마크나 출처를 정확히 확인해야 한다. 또한 회사 동료, 가족, 지인들만이 알 수 있는 추억, 암호 등 정보를 공유해 딥페이크 사기 피해로부터 자신을 보호해야 한다.