2023년 7월 20일, 구글과 오사카 대학으로 구성된 공동 연구팀은 인간의 뇌 활동에서 음악을 재구축하는 방법을 발표했습니다.
https://arxiv.org/abs/2307.11078
Brain2Music: Reconstructing Music from Human Brain Activity
The process of reconstructing experiences from human brain activity offers a unique lens into how the brain interprets and represents the world. In this paper, we introduce a method for reconstructing music from brain activity, captured using functional ma
arxiv.org
이 연구는 뇌가 세계를 해석하고 표현하는 방법을 이해하는 새로운 관점을 제공합니다.
연구팀은 기능적 자기공명이미지(fMRI)를 이용하여 뇌활동을 기록하고, 그 데이터를 바탕으로 음악을 재구축하는 방법을 도입했습니다. 텍스트로부터 음악을 생성하는 Google의 모델 「MusicLM」을 fMRI 데이터로부터 파생된 임베딩에 근거해 조건부로 사용한 것 외에, 음악을 생성하는 대신 대규모의 데이터베이스로부터 검색했습니다.
생성된 음악은 장르, 악기 편성, 분위기 등의 의미 특성에 있어서 인간 피험자가 경험한 음악 자극과 유사했습니다. 이는 인간이 음악에 대해 어떻게 인식하고 느끼는지에 대한 자세한 통찰을 얻을 수 있었다고 합니다.
재구성된 음악의 예는 아래에 공개되어 있습니다. 인간이 들은 음악과 그 뇌의 데이터를 바탕으로 MusiccLM이 재현한 음악을 비교하는 것이 가능합니다.
https://google-research.github.io/seanet/brain2music/
Brain2Music
Brain2Music: Reconstructing Music from Human Brain Activity Timo I. Denk∗1 Yu Takagi∗2,3 Takuya Matsuyama2 Andrea Agostinelli1 Tomoya Nakai4 Christian Frank1 Shinji Nishimoto2,3 1Google 2Osaka University, Japan 3NICT, Japan 4Araya Inc., J
google-research.github.io
구글 등은 이 연구가 '최초의 한 걸음'에 지나지 않는다고 말하며, 미래의 연구에서는 순수한 상상력으로부터 음악을 재구성하는 방법을 탐구할 수 있을지도 모른다고 말했습니다.
'AI · 인공지능 > AI 뉴스' 카테고리의 다른 글
| AI의 지능이 급격히 떨어지는 '드리프트' 문제는 왜 발생하는가? (1) | 2023.08.10 |
|---|---|
| Stability AI가 오픈 소스 코딩 보조 AI인 「StableCode」발표 (1) | 2023.08.10 |
| YouTube 동영상의 썸네일 제작은 AI에게 빼앗겨 버리는가? (2) | 2023.08.09 |
| OpenAI가 미래의 AI 모델 개선을 위한 웹 크롤러 'GPTBot'을 발표 (1) | 2023.08.09 |
| AI에 의한 유방암 검진은 발견률이 20% 상승해 방사선과 의사의 업무를 44% 줄인다 (23) | 2023.08.04 |
| AMD CEO의 예측, 「AI용 반도체 시장은 3~4년간 연 50%씩 성장한다」 제조 위탁처 확대 가능성 (2) | 2023.08.04 |
| Google이 AI 검색에 '이미지 및 동영상' 기능 추가 발표, 동영상의 필요 부분만 찾아주는 편리함 (1) | 2023.08.04 |
| 프롬프트로 음악과 효과음을 생성하는 오픈 소스 AI 툴 「AudioCraft」를 Meta가 발표 (3) | 2023.08.03 |
