딥페이크 잡아내려면 “눈깜박임” 보라!

YTN라디오(FM 94.5) [YTN 뉴스FM 슬기로운 라디오생활]

□ 방송일시 : 2022년 1월 26일 (수요일)
□ 진행 : 이현웅 아나운서
□ 출연 : 박재훈 특허청 인공지능빅데이터심사과의 과장

* 아래 텍스트는 실제 방송 내용과 차이가 있을 수 있으니 보다 정확한 내용은 방송으로 확인하시기 바랍니다.

◇ 이현웅 아나운서(이하 이현웅): 슬기로운 생활을 위한 “생활백서” 매주 수요일은 대한민국 특허청과 함께하는 '독특허지~기특허지~' 시간입니다. 내가 좋아하는 가수가 세상을 떠났다면,
팬들은 그 가수의 목소리를 평생 그리워할 수밖에 없겠죠. 그런데! 고인이 된 가수의 목소리는 물론 공연 모습까지 재현할 수 있는 기술이 있다고 합니다. 어떤 기술인지 특허청 인공지능빅데이터심사과의 박재훈 과장과 함께 알아보겠습니다. 안녕하세요~

◆ 박재훈 특허청 인공지능빅데이터심사과의 과장(이하 박재훈): 안녕하세요. 반갑습니다.

◇ 이현웅: 딥페이크, 뉴스에서 많이 나오긴 하는데 정확히 뭔지는 모르겠거든요. 우선 딥페이크가 뭔지부터 여쭤보겠습니다.

◆박재훈: 네 지금 뛰어난 성능을 보이고 있는 인공지능 기술은 대부분 ‘딥러닝’이라는 ‘신경망’ 기술을 사용하고 있는데요, 딥러닝이란 인간과 유사한 작업을 수행할 수 있도록 기계를 교육하는 것을 말합니다. 그리고 딥페이크란 딥러닝과 거짓이라는 뜻의 영어 단어 페이크를 합한 합성어입니다. 2017년 미국 온라인 커뮤니티 사이트인 레딧에서 ‘딥페이크스(deepfakes)’라는 닉네임을 가진 이용자가 처음으로 딥러닝 기술로 가짜영상을 만들어 유포한 것에서 이름이 유래되었습니다.

◇ 이현웅: 알 듯 모를 듯한데요, 딥페이크를 한마디로 설명한다면! 뭘까요?

◆박재훈: 딥페이크는 AI에게 밥을 주는 기술이다. 우리 인간이 밥을 먹고 사는 것처럼 인공지능은 “데이터”를 먹고 삽니다. 결국 인공지능에게 밥은 “데이터”인거죠. 인공지능이 똑똑해지려면 많은 데이터가 있어야 하고, 희귀한 데이터도 있어야 하는 것입니다. 그래서 인공지능에게 밥을 주는 기술 즉, 데이터를 만드는 기술이 많이 연구되고 있고 딥페이크 기술이 사용되고 있습니다. 이에 대한 특허도 최근 급격히 늘고 있습니다.

◇ 이현웅: AI에게 밥을 준다, 표현이 재미있는데, 또 다른 예를 들어서 설명해주신다면요?

◆박재훈: 아나운서님 회 좋아하세요? 자연산 광어 맛있지만 비싸서 양식 광어도 많이 먹잖아요? 그런 것처럼 인공지능한테도 자연산인 실제 데이터, 즉 실제 촬영한 데이터, 실제 녹음한 데이터 같은 것들만 줄 수는 없구요, 물고기 양식처럼 만든 데이터, 합성데이터라고 부르는데요, 이런 합성데이터를 주어야 하는 경우가 있습니다. 예를 들면 자율주행 인공지능車를 만들 때는 엄청난 양의 도로 주행 데이터를 인공지능에게 먹여야 하는데요, 한 예로, 고속도로에 멧돼지가 뛰어나오는 데이터를 미리 주고 공부시켜야 실제 그런 상황이 발생했을 때 대비할 수 있거든요. 그런데 이런 데이터는 도로 주행 아무리 해도 실제로 수집하기가 아주 어려운 데이터입니다. 이런 데이터를 만들 때 바로 ‘딥페이크’ 기술을 이용합니다.

◇ 이현웅: 그럼 본격적으로 딥페이크가 어디에 어떻게 활용되는지 설명해주세요.
고인이 된 가수를 살려낸다는 건 무슨 얘깁니까?

◆박재훈: 딥페이크 기술은 어떤 사람에 대한 음성이나 영상정보가 많이 있으면 그걸 이용해서 최대한 똑같이 그 사람을 재현할 수 있는 기술입니다. 한 예로 최근에 TV 프로그램에서, 세상을 떠난 가수 터틀맨, 김현식, 김광석의 무대를 재현했는데요. 딥페이크를 이용해서 생전 목소리는 물론이고 공연하는 모습까지 합성을 해낸 거죠. 즉 이제는 고인이 된 가수를 가상으로 살려내서 무대에서 신곡을 부르게 할 수도 있다는 겁니다. 또 넷플릭스에서 공개된 로버트 드니로 주연의 아이리쉬맨이라는 영화에서는 드니로의 젊은 시절 영상을 대역을 쓰지 않고 딥페이크 기술로 만들어내서 화제가 되기도 했습니다.

◇ 이현웅: 굉장히 신박한 기술인 것 같은데, 그럼 딥페이크 기술이 특허출원도 되고 있나요?

◆박재훈: 그렇습니다. 특허데이터를 분석해보면 기술의 발전방향이나 산업계의 흐름, 미래 기술발전 방향 예측이 가능합니다. 실제로 저희가 여러 산업분야에 쓰이는 합성데이터를 만드는 특허 출원수를 조사해보았더니, 최근 3년간 출원수의 연평균 증가율이 무려 154.4%였습니다. 그런데 딥페이크 기술이 오래된 기술이 아니거든요. 불과 2014년에 나온 10년도 안된 기술인데 벌써 이렇게 활용도가 높고 기업들이 관련 특허도 많이 출원하고 있는 상태인거죠. 산업 전반에 활용도가 높은 기술이라고 말할 수 있습니다.

◇ 이현웅: 말 그런 것 같습니다. 그런데 딥페이크로 가짜뉴스를 만든다는 이야기도 들은 것 같아요. 사실인가요?

◆박재훈: 네, 사실 그렇게 악용되는 사례도 많이 있습니다. 그래서 일반인에게 부정적 이미지를 주고 있는데요, 악의적으로 제작된 미국 하원의장 낸시 펠로시 영상이나, 트럼프를 비난하는 오바마 딥페이크 영상 등이 이슈가 되었죠. 인간의 눈으로 보기에는 차이를 느낄 수 없게 너무 똑같이 만든 가짜뉴스가 문제가 됩니다.

◇ 이현웅: 그러면 그렇게 만든 딥페이크 영상은 구분이 불가능한가요?

◆박재훈: 아닙니다. 물론, 딥페이크 영상이 정교하게 만들어지기 때문에 인간이 육안으로 알기는 어렵습니다. 하지만, 딥페이크를 탐지하는 기술이 발전하고 있습니다. 인공지능이 만든 딥페이크를 알아내기 위해 다시 인공지능 기술이 사용되는 것입니다. 실제로 딥페이크가 주목받기 시작한 2017년부터 바로 탐지기술 관련 특허가 늘어나고 있습니다. 예를 들어 보겠습니다. 인간은 무의식적으로 눈을 계속 깜박거리는데요, 딥페이크는 영상을 합성하기 때문에 분석해보면 눈깜박임이 자연스럽지 않을 수 있습니다. 그래서 이런 부자연스러운 눈깜박임을 분석해 검출하는 기술이 있습니다. 또한, 인간 피부에서 나타나는 혈류량 변화를 인공지능으로 분석해서 딥페이크를 검출할 수 있는 기술도 있습니다. 딥페이크를 만드는 기술과 탐지하는 기술은 ‘창과 방패’와 같이 서로 발전하는 기술이라고 볼 수도 있겠습니다.

◇ 이현웅: 창과 방패가 서로 공존하면서 발전한다, 재미있네요. 오늘 이야기 듣다 보니까, 특허청에서도 딥페이크를 굉장히 주목하고 있는 것 같아요?

◆박재훈: 딥페이크 기술이 악용되는 사례도 있지만 산업적으로 활용도가 높고 상당히 중요한 기술임은 분명합니다. 특허 분석 결과에서도 단순히 출원양이 높은 사실 외에 우리 중소기업들이 성공할만한 시장도 꽤 있다는 결과를 얻었는데요, 지난 12월에는 이런 분석 결과를 산업계와 공유하는 세미나를 개최하기도 했습니다. 그리고 이런 분석결과를 바탕으로 특허를 창출하고자 하는 기업에 적극적인 도움을 드리고자 노력하고 있습니다. 도움이 필요한 기업은 저희 부서에 연락주십시오.

◇ 이현웅: 독특허지 기특허지, 오늘은 여기까지 듣겠습니다. 오늘 말씀 감사합니다. 지금까지 특허청 박재훈 과장이었습니다.

YTN 김우성 (wskim@ytnradio.kr)