초당 100장 이상의 화상을 생성할 수 있는 고속 화상 생성 파이프라인 「StreamDiffusion」이 등장

 
 
소스로부터의 데이터 입력, 기계 학습 모델에의 데이터 출력, 학습 패턴의 조정이라는 일련의 처리 구조인「파이프 라인」을 리얼타임 이미지 생성을 위해서 최적화된 「StreamDiffusion 」이 등장했습니다.

[2312.12491] StreamDiffusion: A Pipeline-level Solution for Real-time Interactive Generation
https://arxiv.org/abs/2312.12491

StreamDiffusion: A Pipeline-level Solution for Real-time Interactive Generation

GitHub - cumulo-autumn/StreamDiffusion: StreamDiffusion: A Pipeline-Level Solution
https://github.com/cumulo-autumn/StreamDiffusion/tree/main

GitHub - cumulo-autumn/StreamDiffusion: StreamDiffusion: A Pipeline-Level Solution for Real-Time Interactive Generation

제작자에 의하면, 기존의 확산 모델은 텍스트나 프롬프트로부터 이미지를 생성하는 것은 길지만, 실시간의 교환에서는 성능이 충분하지 않은 것이 있었다고 합니다. 이러한 제한은 메타버스나 라이브 비디오 스트리밍과 같은 "연속적인 입력"을 포함하는 시나리오에서 특히 두드러졌으며, 이 문제를 해결하기 위해 새로운 접근법을 고안했습니다.

RTX 4090, Core i9-13900K, Ubuntu 22.04.3 LTS 환경에서 StreamDiffusion을 사용하여 이미지를 생성한 결과, SD-turbo 모델의 Text-to-Image 처리로 106.16fps라는 3 자릿수 이상의 수치를 냈다고 합니다.

텍스트에서 이미지를 실시간으로 생성하는 GIF도 공개되어 있습니다.

StreamDiffusion의 특징은 기존의 대기 시간과 대화의 접근을 배제하고 배치 처리에 의한 데이터 처리의 효율화를 도모하는 "Stream Batch", 계산의 중복성을 최소화하는 "RCFG", GPU의 사용 효율을 최대화하는 "Stochastic Similarity Filter"등의 기능이 갖추어져 있다는 것입니다.

Stochastic Similarity Filter는 "전 프레임에서 그다지 변화하지 않는 경우의 변환 처리를 줄임으로써 GPU의 부하를 경감한다"는 것. Stochastic Similarity Filter의 효과를 보여주는 다음 GIF 애니메이션은 이미지를 고속으로 출력하면서도 GPU 사용률이 낮은 상태를 유지하고 있음을 알 수 있습니다.

StreamDiffusion의 GitHub 리포지토리는 다음에서 액세스 할 수 있습니다.

StreamDiffusion/README-ko.md at main · cumulo-autumn/StreamDiffusion · GitHub
https://github.com/cumulo-autumn/StreamDiffusion/tree/main

GitHub - cumulo-autumn/StreamDiffusion: StreamDiffusion: A Pipeline-Level Solution for Real-Time Interactive Generation