뇌파로부터 이미지를 생성하는 AI 「DreamDiffusion」이 등장

 
 
뇌파에서 영상을 생성하는 AI 'DreamDiffusion'이 등장했습니다. 대표적인 이미지 생성 AI 중 하나인 "Stable Diffusion" 기술을 응용하여, 머릿속의 광경을 직접 출력할 수 있는 "thoughts to images(생각을 이미지로)"를 저비용으로 실현하기 위한 첫걸음이라고 합니다.

DreamDiffusion의 존재를 밝힌 것은 중국 칭화대학 심천국제연구생원, Tencent AI Lab, 펑청(鵬城) 실험실의 연구자가 2023년 6월 29일에 공개한 논문,
"DreamDiffusion: Generating High-Quality Images from Brain EEG Signals(꿈의 확산 : 뇌파 신호에서 고품질의 이미지를 생성)"입니다.

https://arxiv.org/abs/2306.16934

DreamDiffusion: Generating High-Quality Images from Brain EEG Signals

기존 이미지 생성 AI는 프롬프트라는 짧은 텍스트를 입력하여 이미지를 생성하는 "text to image(t2i: 텍스트에서 이미지로)", 기존 이미지를 입력하여 새로운 이미지를 생성하는 "image to image(i2i : 이미지에서 이미지로)」라는 기법이 주류였지만, DreamDiffusion에서는 머릿속의 광경으로부터 직접 이미지를 생성하는 「thoughts to images(생각에서 이미지로)」를 목표로 하고 있어, 장래에는 신경과학 및 컴퓨터 비전 등의 응용으로 이어질 것으로 예상하고 있습니다.

MRI 기술보다 저렴한 비용이면서도 실용적

사실 비슷한 노력은 이미 있었습니다. 

예를 들어 싱가포르 국제대학이 2022년 공개한 MinD-Vis는 의료에 사용하는 MRI를 응용한 fMRI(기능적 자기 공명영상) 신호에서 시각정보를 재현하고자 하는 시도였습니다.

그러나 현행 fMRI 장치는 종종 휴대가 어렵고 전문가가 조작해야 하며 촬영에 드는 비용도 높습니다. 한편 뇌파를 읽는 장치라면 운반할 수 있는 시판품도 등장하고 있어 실용적이라고 DreamDiffusion을 개발한 연구자들은 기대하고 있습니다.

다만, 뇌파로부터 이미지를 생성해도 과제는 있습니다. 우선 인체에 부담을 주지 않는 '비침습적' 방식으로 뇌파를 읽을 필요가 있기 때문에 노이즈가 증가하는 데다가, 뇌파 데이터는 한정적이고 개인차도 무시할 수 없습니다. 또한 뇌파 신호에는 독자적인 특징이 있어, 단순한 텍스트 및 이미지 생성과는 비교할 수 없습니다.

DreamDiffusion에서는 뇌파와 이미지 쌍의 데이터에 더해, 대량의 뇌파 데이터로부터 뇌파의 표현을 학습한 EEG 인코더(뇌파 부호화기)의 구조와 Stable Diffusion을 조합하는 것으로 해당 과제의 극복을 도모했습니다.

그 정확도는 45.8%
 

원본 이미지와 그것을 보았을 때의 뇌파에서 생성된 이미지를 비교한 평가시험에서는 45.8%의 정확도를 달성했다고 합니다.

또한 논문에서는 원본과 뇌파로부터 생성한 이미지가 달랐던 실패의 예제도 기재하고 있습니다.

원본 이미지가 꽃인데 비해 뇌파에서는 피자 같은 이미지가 생성되는 등 정밀도가 아직 부족하다는 것을 알 수 있지만 앞으로의 발전이 매우 주목되는 기술입니다.