뇌에 전극을 찌르지 않아도 '사고'를 실시간으로 읽을 수 있는 AI 기술이 등장

기능적 자기공명영상(fMRI) 이라는 수법으로 뇌를 스캔하여 AI로 해석함으로써 사람의 사고를 정확하게 읽을 수 있다는 논문이 발표되었습니다. 이 기술로 인하여 질병이나 부상으로 말하거나 몸을 움직일 수 없는 사람들의 커뮤니케이션을 지원하는 기술이 크게 진전될 것으로 기대되고 있습니다.


Semantic reconstruction of continuous language from non-invasive brain recordings | bioRxiv

Researchers Report Decoding Thoughts from fMRI Data

Mind-reading AI works out what you are thinking from brain scans | New Scientist

Mind-reading AI works out what you are thinking from brain scans

Scientists design algorithm that 'reads' people's thoughts from brain scans | Live Science

Scientists design algorithm that 'reads' people's thoughts from brain scans

뇌를 스캔하고 사고를 읽는 기술은 이미 등장하고 있었지만, 그 대부분은 수술에 의해 머리에 전극이나 임플란트를 내장하는 침습적 장치를 사용하는 것이 대부분이었습니다.

페이스북이 생각을 컴퓨터에 실시간으로 출력하는 것에 성공

이번 텍사스대학 오스틴교의 신경과학자인 알렉산더 푸트 등의 연구팀은 2022년 9월 29일 프리프린트 서버 bioRxiv에 게재한 논문 중 fMRI를 사용하여 비침습적으로 생각을 읽는 데 성공했다고 발표했습니다.

원래 fMRI는 전자파를 맞추고 뇌의 혈류를 측정함으로써 뇌의 작용을 읽는 기술입니다. 그 때문에, 머리에 전극을 매립할 필요가 없는 대신에, 뉴런의 신호를 직접 판독하는 디바이스와 비교하면 아무래도 해석에 시간이 걸리고, 실시간성이 부족하다는 난점이 있었습니다. 그러나 연구팀은 대상자가 생각하고 있는 단어를 한 단어 한 단어 해독하는 대신 기계 학습을 이용한 AI 모델을 통해 뇌의 고도의 사고 의미를 읽어 이 문제를 해결했습니다.

이 기술을 개발함에 있어 연구팀은 먼저 20~30대의 남성 2명, 여성 1명의 합계 3명에게 fMRI의 장치를 사용한 상태에서 오디오 드라마나 팟캐스트를 듣게 했습니다. 그리고 여러 차례로 나누어 총 16시간 계측한 fMRI의 스캔 데이터와 원천이 된 문장으로 트레이닝을 실시하여 fMRI의 데이터로부터 사고를 해석하는 알고리즘인「디코더」를 만들었습니다. 이렇게 만든 디코더에 다시 피험자의 뇌 데이터를 읽게 하면 피험자가 들은 팟캐스트 등의 스토리를 꽤 정확하게 재현할 수 있었다는 것.

다음 중 왼쪽은 디코더의 트레이닝에 사용하지 않았던 새로운 문장이고, 오른쪽은 그것을 듣고 있는 피험자의 사고를 디코더가 읽어낸 문장입니다.

청색의 문자는 단어가 딱 일치한 부분
보라색은 이야기의 골자를 읽을 수 있는 부분
빨간색은 읽지 못한 부분을 나타내고 있습니다.
세세한 곳에 실수는 있지만, 단어나 구를 정확하게 재현하고 있고 요점을 잘 파악하고 있다는 것을 알 수 있습니다.

연구팀은 이 기술이 말하거나 몸을 움직일 수 없는 사람의 커뮤니케이션을 지원하는 데 도움이 될 것이라고 생각합니다. 왜냐하면 fMRI 기술은 비침습적이고 뇌에 전극을 이식하는 수술이 필요 없기 때문입니다. 물론 fMRI 장치는 대규모 장비라서 개인이 부담 없이 사거나 사용할 수는 없지만, 푸트씨에 의하면 fMRI보다 휴대성이 뛰어난 기기를 이용한 뇌자도(腦磁圖, Magnetoencephalography, MEG)에서도 이번 기술을 응용할 수 있는 가능성이 크다는 것.

헬멧처럼 머리에 쓰는 웨어러블 뇌자도 측정기

한편, 전자파를 통해 내 생각을 들켜버릴 수 있다고 경계하는 사람도 있을지 모르겠습니다만, 어떤 사람의 사고 데이터를 학습해 만든 디코더는 그 사람의 사고 해독에만 사용이 가능했고, 다른 사람에게는 전혀 사용할 수 없었습니다. 이는 사전에 16시간의 대규모 교육 세션에 참여하지 않으면 생각을 읽을 수 없다는 것을 의미합니다.

또한 연구팀은 스캔 중인 피험자에게 다른 것을 생각하거나 숫자를 세게 만들어 얼마나 읽기가 부정확해지는지 조사했습니다. 그 결과, 동물을 연상하는 것이, 해독을 방해하는 데 있어서 가장 효과적이었다고 합니다.