지정된 장르 및 아티스트풍의 곡을 자동으로 생성하는 AI 'Jukebox'

심슨에 출연한 Katy Perry

 

샌프란시스코 리서치 연구소 OpenAI는 다양한 아티스트 스타일의 음악을 합성하는 신경망, JukeBox를 소개했습니다.

 

그들은 Elvis, Frank Sinatra, Katy Perry 등을 포함한 다양한 아티스트의 음악으로 AI를 훈련시켰습니다. AI는 악기와 가짜 보컬을 사용하여 오디오를 직접 합성합니다. 결과는 끔찍하고 굉장하며 다른 우주의 음악처럼 들립니다.

 

일부 트랙은 가짜 케이티 페리의 노래같이 그럴싸하게 구린 작곡처럼 보입니다.

 

“I count every moment, every hour since I said goodbye.

“작별 이후 매 순간을 세어봅니다.

I count every minute every hour, since your lips were touching mine.

당신의 입술이 내게 닿은 후 매 순간을 세어봅니다.

I count every minute, every hour, hoping I’m the one you want.”

나는 당신이 원하는 사람이 되기를 바라고, 매 순간, 매 시간을 세어봅니다.”

 

가짜 케이티 페리는 안녕이라 말한 후, 매 순간을 세어보는 중...

 

Katy Perry 스타일의 팝 :

Pop, in the style of Katy Perry - OpenAI Jukebox

 

인공 지능을 연구하는 비영리 단체인 OpenAI는 신경망을 사용하여 지정된 장르 및 아티스트로부터, 무려 가사까지 들어간 노래를 생성해주는 AI 'Jukebox'를 공개했습니다.

OpenAI

 

OpenAI introduces Jukebox, a new AI model that generates genre-specific music with lyrics - The Verge

OpenAI introduces Jukebox, a new AI model that generates genre-specific music

예를 들어, 20세기를 대표하는 팝 가수인 프랭크 시나트라 풍의 곡을 jukebox로 생성하면 이런 느낌입니다. 가사 내용은 알아들을 수 있는 영단어도 있지만, 문장은 성립하지 않는 모습입니다.

Classic Pop, in the style of Frank Sinatra - OpenAI Jukebox

재즈의 여왕, 엘라 피츠제럴드 풍의 곡이 다음.

Jazz, in the style of Ella Fitzgerald - OpenAI Jukebox

저먼 메탈을 대표하는 레이지 풍의 곡은 헤비메탈 특유의 템포와 비트가 제대로 재현되어 있습니다.

Heavy Metal, in the style of Rage - OpenAI Jukebox

샘플 전체 7131 곡은 아래에서 확인하실 수 있습니다.

Jukebox Sample Explorer

OpenAI Jukebox Sample Explorer

OpenAi에 따르면, 지금까지 머신러닝으로 음악을 생성하는 시도는 존재했지만, 곡을 해석하자면 악곡에 포함된 데이터의 정보량이 너무 많은 것이 문제였습니다. (음악은 색상과 모양으로 구성된 이미지 데이터와는 달리 악기, 음색, 가사, 노래, 억양, 소음 등 많은 데이터가 혼합되어 정보량이 많고, 곡을 만드는 AI를 육성하기 위해 머신러닝을 하려고 해도 해석 단계에서 정보량이 너무 많습니다) 이 문제를 해결하기 위해 Jukebox는 악곡에서 지각적으로 관련 없는 정보를 파기하여 원시 데이터를 CNN(Convolutional neural network)으로 압축합니다.

이 압축된 데이터로 노래를 생성하고...

업 샘플링하여 원래의 음질로 복원하는 것입니다.

Jukebox는 교육을 위해 120만 곡(이 중 영어 노래 60만 곡)을 데이터 세트로 사용하고 있습니다. 또한 데이터 세트의 곡에는 가사와 아티스트, 앨범, 발매년도, 장르, 키워드 등의 메타 데이터가 크롤링에 의해 연결되어 있습니다.

메타 데이터 등의 각종 정보에서 Jukebox는 아티스트를 장르별로 분류하고 있습니다. 아래의 다이어그램에서 가까운 위치에 놓인 아티스트는 Jukebox에 의해 "관계성이 가깝다"고 분류되어 있습니다.

Jukebox의 공식 페이지에 있는 분류표는 연예인의 얼굴 사진에 마우스를 가져가면 이름이 표시됩니다. 일례로, 엘튼 존과 가까운 아티스트로는 존 레논이라고 되어있습니다.

OpenAI 연구팀은 "Jukebox는 음악의 품질, 일관성, 오디오 샘플의 길이, 아티스트, 장르, 가사를 조건 짓는 능력에 있어서 한걸음 전진하고 있습니다만, 인간이 만든 곡과는 큰 격차가 존재합니다. 일레로 Jukebox가 생성한 곡은 전통적인 코드 패턴, 솔로 파트 등을 포함하고 있지만, 코러스의 반복 등 극히 일반적인 음악 구조는 없습니다"라고 코멘트하고 Jukebox에 한계가 있음을 인정하고 있습니다.

Jukebox 소스 코드는 Github에 공개되어 있습니다.

GitHub - openai / jukebox : Code for "Jukebox : A Generative Model for Music"

openai/jukebox