이미지 AI 'Stable Diffusion' 개발에 관여한 AI 스타트업 Runway Research가 텍스트에서 비디오 클립을 생성하는「Gen-2」를 2023년 3월 20일에 공개했습니다.
Gen-2 by Runway
https://research.runwayml.com/gen2
Gen-2 by Runway
The Next Step Forward for Generative AI
research.runwayml.com
Text-to-video AI inches closer as startup Runway announces new model - The Verge
Text-to-video AI inches closer as startup Runway announces new model
Text-to-video AI is rudimentary but improving fast.
www.theverge.com
이번에 발표된 'Gen-2'로 어떤 영상을 만들 수 있는지는 아래 영상에서 볼 수 있습니다.
https://twitter.com/runwayml/status/1637800500459458562?s=20
트위터에서 즐기는 Runway
“Generate videos with nothing but words. If you can say it, now you can see it. Introducing, Text to Video. With Gen-2. Learn more at https://t.co/PsJh664G0Q”
twitter.com
Gen-2의 전신은 Runway Research가 2023년 2월에 발표했던, 기존 동영상에 새로운 동영상을 합성할 수 있는 제네레이티브 AI Gen-1입니다.「Gen-1」을 사용하면, 아래와 같이 과자와 물통의 영상을 공장 배경의 영상으로 바꿀 수 있습니다.
그리고, 이번에 발표된「Gen-2」에서는 이 기능이 한층 더 발전해, 텍스트로부터 영상을 생성할 수 있게 되었습니다. 예를 들어 '사막 풍경의 드론 영상'이라고 텍스트로 입력하면 황량한 풍경의 영상이 출력됩니다.
「뉴욕의 창으로부터 엿보는 오후의 태양」등의 복잡한 지시도 가능합니다.
이와 비슷한 AI로는 Meta의 'Make A Video'나 Google의 'Imagen Video' 등이 선행하고 있지만 Runway는 불과 45명의 팀으로 개발되었다는 점이 놀랍습니다.
데모 클립은 모두 3초 정도의 길이로 화질도 거칠고, 프레임 레이트도 낮습니다. 또 누구나 사용할 수 있는 것은 아니고, 지금까지 Discord 경유로 등록해 차례 대기 리스트에 추가해 주어야 합니다. Runway의 홍보 담당자에 의하면,「Gen-2」는 향후 몇 주간에 폭넓은 액세스가 제공될 것이라고 합니다.
또한 Runway의 CEO인 Cris Valenzuela 씨는 Bloomberg에, "Gen-2로 생성된 영상은 무음입니다만, 장래에는 음성도 생성할 수 있는 시스템을 목표로, 음성 생성에 관한 연구도 실시 중"이라고 말했습니다.
'AI · 인공지능 > 이미지 생성 AI' 카테고리의 다른 글
| 멀티 모달 모델 오픈 소스 "OpenFlamingo"가 등장, 무료 데모도 공개 (0) | 2023.03.31 |
|---|---|
| 1장의 이미지로부터 애니메이션을 만드는 「Animai」를 「Stable Diffusion」의 개발사가 공개 (0) | 2023.03.31 |
| 무료로 카오스 이론 및 기하학 등의 수학 모델을 쉽게 시각화 하는 「Visions of Chaos」 (0) | 2023.03.29 |
| 텍스트로 가구나 잡화를 포함한 3D 방을 생성하는「Text2Room」이 등장 (0) | 2023.03.24 |
| '닮은 이미지'를 무한 생성하는「Stable diffusion reimagine」사용법 (0) | 2023.03.21 |
| Stable Diffusion 설치없이 브라우저에서 동작 가능한「Web Stable Difusion」등장 (0) | 2023.03.18 |
| 「Blender + ControlNet」을 사용하여 애니메이션을 만드는 방법 (3) | 2023.03.18 |
| 「Midjourney V5」등장, 취약했던 '손'도 깨끗하고 실사와의 구별은 거의 불가능 (0) | 2023.03.17 |
