수술 없이 생각을 읽을수 있는 기술 개발? 미국 연구팀의 fMRI를 활용한 뇌파 의미 해독기

 

 

 미국 오스틴 텍사스대의 알렉스 후스 교수팀은 뇌 활동을 측정하는 기존의 수술적인 방식 대신, 기능성 자기공명영상(fMRI)으로 뇌 활동을 측정하여 인공지능(AI) 기술을 이용해 뇌파를 해석하는 '의미 해독기'(semantic decoder)를 개발하였습니다. 이 기술은 이야기를 듣거나 상상하는 사람의 뇌파를 측정해 그 내용을 문장으로 재구성하는 기술로,이전의 뇌파 해석기는 수술을 통해 뇌에 전극 등을 심는 침습적인 방식이 필요했는데요. 반면 이번에 개발된 의미 해독기는 수술이나 장비의 인체 삽입이 필요하지 않기 때문에 활용의 제한이 적고, 사람에게 사용하는데에도 안정성/윤리적 문제에서 비교적 자유롭습니다.

​ 연구팀은 먼저 실험 참가자 3명을 대상으로 다양한 이야기를 들려주면서 fMRI로 뇌파를 측정하였습니다. 그리고 이를 바탕으로 AI 모델을 훈련시켜, 특정 구절의 의미와 이와 관련된 뇌 반응을 연결하여 해석하였습니다. 그리고 이를 바탕으로 참가자들에게 새로운 이야기를 들려주면서 뇌파를 측정하고, 이를 의미 해독기로 해석하였습니다. 이 결과, 해독기는 새 이야기의 의미 파악에 필요한 단어들을 포착하였으며, 일부는 이야기에서 사용된 정확한 단어와 구문까지 생성하는 것으로 나타났습니다.

 

실험 참가자에게 들려준 4개의 이야기 내용(왼쪽)과 이를 듣는 동안 수집된 뇌활동 데이터로부터 해독기가 재구성해낸 내용. University of Texas at Austin 제공

 

​ 해독기가 뇌의 대부분 영역과 네트워크 활동에서 연속적인 언어를 추론할 수 있다는 것이 밝혀졌습니다. 이들은 참가자가 듣거나 생각하는 것의 요지를 포착하도록 AI를 설계하였으며, 실험 절반 정도에서 해독기가 참가자의 생각과 거의 또는 정확히 일치하는 문장을 만들어냈다고 합니다.

​이 연구에서는 참가자가 상상한 이야기의 의미나 소리 없이 재생된 동영상 내용도 fMRI 데이터로부터 추론해낼 수 있었습니다. 또한, 참가자가 동시에 2가지 이야기를 들을 때 어떤 이야기를 집중해서 들었는지도 확인할 수 있었습니다.

​ 하지만 한 참가자의 fMRI 데이터로 훈련된 해독기는 다른 참가자의 생각은 읽지 못하며, 참가자들이 자신의 마음이 읽히는 것에 협력할 경우에만 제대로 작동한다는 한계점이 있습니다. 이는 이 해독기의 훈련과 적용에 참가자의 협력이 중요하다는 것을 보여주며, 향후 이런 기술의 발전에 따라 안좋은 목적으로 이용되지 않도록 '정신적 프라이버시'를 보호하기 위한 정책이 필요할 수도 있다는 지적이 있습니다.

​ 또한, 이 해독기는 실험실이나 병원에 있는 대형장비인 fMRI를 사용하기 때문에 일반인에게 적용하기는 어려울 것으로 보입니다. 하지만, 이를 기능성 근적위선분광법(fNIRS)와 같은 휴대성이 뛰어난 다른 뇌영상 시스템을 이용해 구현하는 것이 가능할 것으로 전망됩니다. fNIRS는 해상도는 낮지만 fMRI와 같은 종류의 신호를 측정할 수 있기 때문입니다.

​ 이 연구 결과는 뇌 활동과 언어 처리에 대한 이해를 높이는 데 큰 도움이 될 것입니다. 더불어 이 기술은 의사소통에 어려움을 겪는 뇌졸중 환자 등에게 적용될 수 있으며, 뇌파를 이용하여 사람들의 의사소통에 도움이 되는 기술의 발전에 기여할 것으로 기대됩니다.

​ 한편, 이 기술은 챗GPT나 구글의 바드(Bard)와 유사한 인공지능 모델인 '트랜스포머 모델(transformer model)'을 이용하였다고 합니다. 트랜스포머 모델은 문장 속 단어와 같은 순차 데이터 내의 관계를 추적하여 맥락과 의미를 학습하는 신경망입니다. 이 기술을 통해 뇌파를 더욱 효과적으로 분석하고 의미를 유추할 수 있었다고 합니다.

​

미국 오스틴 텍사스대 알렉스 후스 교수팀이 fMRI로 실험 참가자의 뇌 활동 데이터를 수집하는 모습.Nolan Zunk/University of Texas at Austin 제공 ​