문장에 따른 악곡을 생성해 주는 AI「Riffusion」등장,「Stable Diffusion」베이스로 누구나 자유롭게 이용 가능

입력한 문장(프롬프트)에 따라 이미지를 생성해 주는 AI「Stable Diffusion」은 모델 데이터가 일반에 공개되어 있기 때문에 많은 사람들에 의해 커스터마이즈가 실시되고 있습니다. 그런 Stable Diffusion의 모델을 조정하여, 문장을 입력하는 것 만으로 악곡을 생성해 주는 AI「Riffusion」이 개발되었습니다.

Riffusion
https://www.riffusion.com/

Riffusion 개발 팀은 누구나 쉽게 Riffusion을 이용할 수 있는 웹 앱을 제공하고 있습니다. 웹 앱에 액세스 하면 화면 오른쪽에 "post-teen pop talent show winner"라는 프롬프트가 표시됩니다. 음악을 재생하려면 화면 오른쪽 상단의 재생 버튼을 클릭하면 OK.

재생 버튼을 클릭하면 화면 왼쪽의 도형이 위쪽으로 스크롤되기 시작하고 음악 재생이 시작됩니다. 악곡은, 확실히 10대 아티스트 같은 느낌.

화면 상단에는 이미 다른 사람들의 요청으로 생성된 곡의 프롬프트가 나오고 있습니다.「classical italian tenor operatic pop(고전 이탈리아풍 테너 오페라 팝)」이라는 프롬트를 클릭해 보겠습니다.

그러면 화면이 전환되므로 화면 오른쪽 상단의 재생 버튼을 클릭합니다.

음악이 재생되기 시작했습니다. 그렇다고 하니까 왠지 오페라풍의 팝적인 곡조로 느껴집니다.

위의 예에서는 프롬프트가 난해했기 때문에 AI의 힘을 실감하기 어려웠습니다만,「typing」이라고 하는 프롬프트로 생성된 악곡을 재생해 보았는데, 타이핑음을 샘플링해 구성한 것처럼 들리는 음악이 생성되었습니다. 단 하나의 단어로 목표로 한 곡을 생성할 수 있는 것은 놀라웠습니다.

Riffusion의 해설 페이지에 의하면, Stable Diffusion에서는 프롬프트로부터 화상을 생성하고 있습니다만, Riffusion에서는 Stable Diffusion에 조정을 더하여「프롬프트에 관련된 악곡을 스펙트로그램으로 변환한 이미지」를 출력할 수 있게 했다는 것.

그리고, 생성한 스펙트로그램을 음성 데이터로 변환하는 것으로「프롬프트에 따른 악곡을 생성」이라는 동작을 실현하고 있습니다. 예를 들어, 위의 이미지 하단에 표시된 스펙트로그램을 오디오 데이터로 변환하면 다음과 같습니다.

・곡의 예

Stable Diffusion에는 이미지를 입력하여 입력 이미지와 비슷한 이미지를 생성하는 img2img라는 기능이 탑재되어 있습니다. Riffusion에서도 img2img와 같은 기능의 이용이 가능하며, 곡을 입력하여 비슷한 곡을 출력할 수 있다는 것.「닮은 곡을 출력하는 기능」의 예는, 아래의 오디오를 들어보시면 쉽게 알 수 있습니다.

・원곡

・원곡을 피아노풍으로 변환한 곡

또한 Riffusion에서는 생성한 여러 개의 짧은 곡을 연결하여 긴 곡으로 만드는 보간 기능도 탑재되어 있습니다. 이 보간 기능에서는, 비슷한 악곡끼리뿐만 아니라, 다른 분위기의 악곡끼리도 위화감 없이 연결하는 것이 가능합니다. 예를 들어, 다음 예제에서는 타이핑 사운드로부터 재즈로 부드럽게 전환되는 것을 볼 수 있습니다.

・타이핑음에서 재즈로 부드럽게 전환

Riffusion의 소스 코드와 모델 데이터에 대한 정보는 다음 링크에서 공개되어 있습니다.

GitHub - hmartiro/riffusion-app: Stable diffusion for real-time music generation
https://github.com/hmartiro/riffusion-app

GitHub - riffusion/riffusion-app: Stable diffusion for real-time music generation