Meta가 문장으로부터 위화감 없는 동영상을 생성하는 AI 「Emu Video」를 발표

 
 
Meta가 문장으로 동영상을 생성할 수 있는 AI 「Emu Video」와, 문장으로 지시해 이미지를 편집할 수 있는 AI 「Emu Edit」를 2023년 11월 16일(목)에 발표했습니다(예시를 모은 데모 사이트도 준비되어 있습니다).

Emu Video and Emu Edit: Our latest generative AI research milestones
https://ai.meta.com/blog/emu-text-to-video-generation-image-editing-research/

Emu Video | Meta
https://emu-video.metademolab.com/

Emu Video

Emu Edit
https://emu-edit.metademolab.com/

Emu Edit

◆ Emu Video
Emu Video는 문장(프롬프트)을 바탕으로 4초간의 동영상을 생성할 수 있습니다. 생성할 수 있는 동영상의 해상도는 512x512픽셀이며 프레임 속도는 초당 16 프레임입니다. 

아래는 "A panda bear driving a car(차를 운전하는 팬더)"라는 프롬프트로 생성한 동영상입니다.

"An astronaut playing with sparklers for Diwali, photorealistic(디왈리에서 불꽃놀이로 노는 우주비행사)"라는 프롬프트로 생성한 영상입니다. 프레임의 연결이 매우 자연스럽고, 위화감이 없습니다.

Emu Video를 사용하여 생성한 동영상은 다음 데모 사이트에서도 확인할 수 있습니다.

Emu Video | Meta
https://emu-video.metademolab.com/#/demo

Emu Video

◆ Emu Edit
Emu Edit는 프롬프트에 따라 이미지를 편집할 수 있는 AI입니다. Emu Edit에 의한 이미지 편집 예는 다음과 같습니다.

우선, 오리지널이 이하.

"Replace the book with a laptop(책을 노트북으로 변경)"을 입력하면 이미지의 책 부분만 편집되어 노트북으로 바뀌었습니다.

"Dress it with a blue hoodie(청색 후드를 입혀)"

"Make it a cyber room(사이버틱한 방으로)"

"Add stickers to the laptop(노트북에 스티커를 붙여)"

"Replace the speakers with drinking cans(스피커를 캔으로 변경)"

이미지의 일부뿐만 아니라 "Make it watercolor painting(수채화로 변경)"과 같은 이미지 전체에 영향을 미치는 편집도 가능합니다.

Emu Edit에 의한 이미지 편집의 예는 다음 링크에서도 확인할 수 있습니다.

Emu Edit
https://emu-edit.metademolab.com/#emu-edit-in-action

Emu Edit

 

AI 생성 이미지가 점점 사용하기 편리해지네요~