2023년 12월 10일 ~ 16일에 걸쳐 행해진 기계 학습과 계산론적 신경과학 콘퍼런스인 「NeurIPS」에서 시드니 공과대학 연구팀에 의한 「생 뇌파를 직접 언어로 번역」하는 대규모 언어 모델 「BrainGPT」논문이 주목할만한 논문으로 선정되었습니다.
New Mind-Reading "BrainGPT" Turns Thoughts Into Text On Screen | IFLScience
New Mind-Reading "BrainGPT" Turns Thoughts Into Text On Screen
It offers new hope to people unable to communicate in other ways.
www.iflscience.com
실제로 인간의 생각을 읽는 실험 모습이 YouTube에 공개되어 있습니다.
UTS HAI Research - BrainGPT - YouTube
BrainGPT는 MRI 장치나 임플란트 없이 모자에서 읽은 뇌파만을 바탕으로 대규모 언어 모델을 통하여 텍스트를 생성하는 구조로, 연구팀은 "뇌에서 텍스트로의 번역 과정에 이산 인코딩 기술을 처음으로 통합했다."라고 주장하고 있습니다.
이 실험에서 피험자는 화면에 표시된 텍스트를 머릿속으로 생각하도록 지시받았습니다.
첫 번째 예문은 "Good afternoon! I hope you're doing well. I'll start with a cappuccino, please, with an extra shot of espresso." 입니다.
BrainGPT가 읽은 결과는 "Afternoon! You well? Capuccino, Xtra shot. Espresso." 입니다. 정보가 많이 누락되고 있지만, 각각의 파츠는 적당히 읽을 수 있습니다.
다음 예문은 "The fairytale was filled with magical adventures in a charming, enchanted forest."
출력 결과는 "The fairy tale had lots of magic a. Journey, forest magic."가 되었습니다. 이전보다 문장이 짧기 때문인지, 전체적인 의미가 보다 유사한 문장이 생성되고 있습니다.
이번 논문의 필두 저자인 이쿤 두안 씨는 BrainGPT에 대해, "명사는 '작자(Writer)'를 '인간'이라고 출력하는 등 동의어가 사용되는 경우가 많아, 명사보다 동사의 매칭에 뛰어나다"라고 설명하고 있으며, 그 이유를 "뇌가 명사를 처리할 때 의미적으로 유사한 뇌파 패턴을 생성할 가능성이 있기 때문이라고" 추측하고 있습니다.
BLEU 알고리즘을 사용한 원본 텍스트와 뇌파 출력 텍스트의 근사성 평가 결과는 약 0.4입니다. 연구팀은 이 수치를 기존의 언어 번역 프로그램과 동등한 0.9까지 끌어올리는 것이 가능하다고 생각하고 있습니다.
논문 검토는 아직 진행되지 않았지만, 프리 프린트가 arXiv에 게시되어 있습니다.
https://arxiv.org/abs/2309.14030v2
DeWave: Discrete EEG Waves Encoding for Brain Dynamics to Text Translation
The translation of brain dynamics into natural language is pivotal for brain-computer interfaces (BCIs). With the swift advancement of large language models, such as ChatGPT, the need to bridge the gap between the brain and languages becomes increasingly p
arxiv.org
'AI · 인공지능 > AI 뉴스' 카테고리의 다른 글
| Facebook은 이미 AI가 만든 가짜 게시물로 가득 차 있다 (103) | 2023.12.21 |
|---|---|
| Microsoft가 LLM의 입력 프롬프트의 의미를 유지하면서 고도로 압축하는 기술「LLMLingua」를 개발 (94) | 2023.12.20 |
| Meta가 「Seamless Communication」공개, 화자 톤을 유지하면서 실시간으로 다언어 음성을 번역 (3) | 2023.12.20 |
| 한국의 연세대에서「망막 사진」으로 아이의 자폐증을 100% 분간하는 AI 모델을 발표 (4) | 2023.12.20 |
| 채팅 AI가 탑재된 어린이용 대화 장난감 「Grok」시리즈가 등장 (80) | 2023.12.19 |
| Meta의 스마트 글라스 「Ray-Ban Meta」의 AI 어시스턴트, 「Meta AI」 (101) | 2023.12.14 |
| Microsoft가 소규모 언어 모델 'Phi-2'를 출시, 소규모인데 최대 25배 사이즈의 모델과 동등하거나 그 이상 (71) | 2023.12.14 |
| 무료로 상용 이용도 가능한 대규모 언어 모델 「Mixtral 8x7B」가 등장 (3) | 2023.12.13 |
