30배나 빠른 AI 이미지 생성 기법을 매사추세츠 공과대학이 개발

 
 
DALL-E 3나 Stable Diffusion과 같은 인기 이미지 생성 AI의 확산 모델을 간소화하고 생성되는 이미지의 품질을 유지하면서 생성 속도를 최대 30배 가속시키는 기술을 미국 매사추세츠 공과대학(MIT) 의 연구팀이 공개했습니다.

2311.18828] One-step Diffusion with Distribution Matching Distillation
https://arxiv.org/abs/2311.18828

One-step Diffusion with Distribution Matching Distillation

AI generates high-quality images 30 times faster in a single step | MIT News | Massachusetts Institute of Technology

AI generates high-quality images 30 times faster in a single step

MIT scientists have just figured out how to make the most popular AI image generators 30 times faster | Live Science

MIT scientists have just figured out how to make the most popular AI image generators 30 times faster

이미지 생성 AI의 대부분에서 사용되는 확산 모델은 어떤 이미지인지 설명하는 캡션이나 메타데이터를 붙인 이미지를 트레이닝 데이터로 사용하여 텍스트 프롬프트를 통해 정확하게 이미지를 생성할 수 있도록 훈련되고 있습니다.

이 과정에서 확산 모델은 우선 랜덤 한 이미지를 노이즈로 변환하고 나서  「 역확산 」 이라고 불리는 노이즈 제거 과정을 최대 100 스텝 실시함으로써 선명한 이미지를 생성할 수 있게 된다는 것.

이번 MIT의 연구팀이 발표한 '분포 매칭 증류(DMD : Distribution Matching Distillation)'라는 기법에서는 이  「 역확산 」 단계를 1단계까지 줄임으로써 이미지 생성에 걸리는 시간을 크게 단축하는 데 성공했습니다.

Stable Diffusion v1.5를 사용한 일부 테스트에서는 2590ms가 소요되던 이미지 생성 시간이 약 30분의 1인 90ms로 단축되었습니다.

MIT의 Tianwei Yin 씨는 "우리의 연구는 적대적 생성 네트워크(GAN)의 원리와 확산 모델의 원리를 융합시켜 시각 콘텐츠 생성을 1 스텝으로 실현하는 것으로, 이것은 현행 확산 모델에서 100 스텝의 반복적인 개선이 필요한 것과는 대조적입니다. 이는 속도와 품질이 뛰어난 새로운 생성 모델링 기법이 될 가능성을 갖고 있습니다."라고 코멘트.

DMD에는 이미지를 생성하는 데 필요한 반복 횟수를 줄이는 중요한 두 가지 요소가 있습니다.

첫 번째는 "회귀 손실"이라고 불리며, 학습 과정에서 유사성을 바탕으로 이미지를 정리하여 AI를 가속화합니다. 

두 번째는 "분포 매칭 손실"로, 특정 이미지가 생성될 확률을 현실 세계에서의 확률에 대응시키는 것입니다. 

이러한 기술을 조합하면 새로운 AI 모델에 의해 생성된 이미지에 이상한 부분이 나타날 가능성이 최소화된다는 것.

이 새로운 접근법은 이미지 생성에 필요한 연산력을 획기적으로 줄이기 때문에 빠르고 효율적인 생성이 요구되는 AI 산업에 큰 이익을 가져다주며 보다 신속한 콘텐츠 생성으로 이어질 것으로 기대됩니다.

MIT의 프레드 듀랜드 씨는 "확산 모델이 탄생한 후, 반복 횟수를 줄이는 방법이 성배처럼 찾아왔습니다. 연산 비용이 극적으로 줄어들고 생산 과정이 가속화될 것으로 기대되어 매우 흥분하고 있습니다."라고 말했습니다.


무려 30배라니...
MIT 연구원 폼 미쳤다!
아직도 무궁무진한 AI 연구의 세계~