본문 바로가기
AI · 인공지능/AI 뉴스

구글이 영상 자동더빙 & 립싱크 AI를 개발중, 너무 고성능이라 악용에 주의

by 두우우부 2023. 5. 12.
반응형

 
2023년 5월 11일(목)에 개최된 「Google I/O 2023」 의 기조 강연에서, 영상의 더빙을 자동 생성하면서 입의 움직임도 자동 변화시키는 AI 기술Universal Translator」가 발표되었습니다.

Google I/O 2023
https://io.google/2023/intl/ko/

Google I/O 2023

Tune in to watch the latest news and innovations from Google. Join I/O for livestreamed keynotes and helpful product updates on demand.

io.google

 


Universal Translator에 대한 발표는 아래 영상의 1시간 14분 38초부터 확인할 수 있습니다.

Google Keynote (Google I/O '23) - YouTube



Universal Translator는 동영상의 음성을 인식하고, 그 목소리를 유지하면서 다른 언어로 번역하는 AI입니다. Google은 Universal Translator를 사용하여 대학의 온라인 강의를 자동 더빙하는 데모를 보여줍니다.



원본 영상은 영어로 강의가 진행됩니다.



원본 영상과 같은 음색을 유지하면서 다른 언어로 강의가 진행됩니다. 또한, 음성에 맞추어 입의 움직임도 자동으로 변화하고 있습니다.



Universal Translator는 「번역」, 「억양의 조정」, 「화자의 목소리를 재현한 음성의 생성」, 「입의 움직임 조정」의 단계를 거쳐서 실현된다고 합니다.



Universal Translator의 자동더빙 기능은 매우 강력하지만 딥페이크 제작 등에 악용될 가능성이 큽니다. 따라서 Google은 Universal Translator를 인증된 파트너에게만 제공할 예정이라고 합니다.

 

반응형