뇌에서 상상한 이미지, AI가 해독 가능할까요? EPFL에서 개발한 CEBRA

 

 인공지능(AI)으로 뇌 신호를 읽어 영상으로 변환해주는 기술이 발전하고 있습니다. 스위스 로잔 공과대학(EPFL) 연구진은 쥐의 뇌 신호를 실시간으로 해석하여 쥐가 보고 있는 비디오를 AI 도구로 재현하는 기술을 개발하였습니다. 이를 위해 전극 탐침을 사용하여 쥐의 뇌 활동을 측정하고, 학습된 AI 모델을 사용하여 뇌 신호를 비디오의 특정 프레임에 매핑하였습니다. 새로운 쥐에게 동일한 비디오를 시청시키면서 뇌 활동을 측정하고 예측한 프레임을 영상으로 변환한 결과, 재구성된 영상이 약간의 결함은 있었지만 원본 영상과 거의 일치하는 것을 확인하였습니다.

​ EPFL에서 개발한 새로운 알고리즘인 CEBRA은 CEBRA는 수학에 근간을 두고 있는 기계 학습 알고리즘으로, 뇌 신호에서 숨겨진 구조를 학습합니다. CEBRA는 contrastive learning이라는 기술을 사용합니다. 이 기술은 높은 차원의 데이터를 낮은 차원의 잠재 공간으로 임베딩하여 비슷한 데이터는 가깝게, 덜 유사한 데이터는 멀리 배치하는 방식으로 작동합니다. 이러한 임베딩 기술은 데이터 내부의 숨겨진 관계와 구조를 추론하는 데 사용됩니다. 이를 통해 뇌 데이터와 행동 라벨, 색상 또는 이미지의 질감과 같은 감각적 특성과 같은 추상적인 라벨을 공동으로 고려할 수 있습니다. 이 알고리즘이 학습한 정보는 해석(decode) 방법을 통해 뇌-기계-인터페이스(BMI)에 사용될 수 있습니다. 이 연구에서는 CEBRA가 쥐의 시각 피질 신경세포(neurons)에서 얻은 뇌 신호를 분석하여, 쥐가 보는 동안 영화에서 어떤 것을 보는지 해석해 낼 수 있다는 것을 보였습니다.

​

쥐의 시각 피질 영역에서 비디오 기능의 디코딩. 출처 : Nature(해당논문)

 

​ CEBRA는 시각 피질 뉴런뿐만 아니라, 다른 뇌 데이터에서도 사용될 수 있다는 것을 보였습니다. 예를 들어, 사람의 팔 움직임을 예측하거나, 쥐가 자유롭게 뛰어다니는 경기장에서 그 위치를 재구성할 수도 있습니다. 연구의 주 저자인 EPFL의 Mackenzie Mathis 교수는 “이 연구는 뇌 기술에서 고성능 BMI를 가능하게 하는 이론적으로 뒷받침된 알고리즘이 필요한 방향으로 나아가는 단 한 걸음일 뿐입니다”라고 말했습니다.

​ 이 연구에서는 미국 시애틀의 Allen 연구소에서 제공한 영상 데이터를 사용하였습니다. 이 데이터는 실험에 사용된 쥐의 뇌 시각 피질 영역에 전극 프로브(electrode probes)를 삽입하여 얻은 뇌 활동 또는 유전자 조작을 통해 쥐의 활성화된 뉴런이 녹색으로 빛나는 광학 프로브(optical probes)를 사용하여 얻은 뇌 활동을 이용했습니다. CEBRA는 뇌 활동을 특정 프레임으로 매핑하는 방법을 학습하고, 이를 통해 뇌 신호만으로 미래의 영상 프레임을 예측할 수 있습니다. 이를 위해서는 초기 학습 기간이 필요하며, 시각 피질 뉴런의 약 1% 미만의 뉴런을 사용하여도 좋은 성능을 보입니다.

​ CEBRA의 목표는 복잡한 시스템에서 구조를 파악하는 것입니다. 뇌는 자연계에서 인간이 관측한 구조중 가장 복잡한 구조이기 때문에 CEBRA의 궁극적인 테스트 공간입니다. 이 기술은 데이터를 동물들과 심지어 종간에서도 결합하여 뇌가 정보를 처리하는 방식을 이해하고 신경과학에서 새로운 원리를 발견하는 데 사용될 수 있습니다. 또한 이 알고리즘은 동물 행동 및 유전자 발현 데이터와 같이 시간 또는 공동 정보가 필요한 많은 데이터 세트에 적용될 수 있으므로 잠재적인 임상 응용 분야도 매우 흥미롭습니다.

​

원본 비디오와 쥐가 뇌에서 해독한 이미지의 비교 사진. 출처 : EPFL

 

 하지만 이 기술이 인간의 기억이나 꿈을 투사할 수 있는 기술에 가까워진 것은 아닙니다. 이번 연구에서는 사전에 해당 비디오로 훈련을 받은 AI 모델을 사용했기 때문에 가능했으며, 특정 사전 훈련 없이 이미지를 인식할 수 있는 충분히 발전한 모델을 상상하는 것은 어렵습니다. 그러나 이번 연구 결과를 새로운 연구를 위한 돌파구로 보고, 시각적 감각을 생성하는 방법이나 뇌 장애를 진단하고 치료하는 데 도움이 될 수 있다는 기대를 제기하고 있습니다.

​ 이러한 AI 기술의 발전은 뇌 연구 및 치료 분야에서 많은 가능성을 제시하고 있습니다. 뇌 활동 패턴과 시각적 입력 사이의 연결을 밝혀내는 것은 시각 장애가 있는 분들에게 시각적 감각을 생성하는 방법을 밝혀낼 수 있는 기반이 될 수 있습니다. 또한 연구가 충분히 진행되면 우리는 생각만으로 이미지를 창조하고, 영상을 제작하는 시대를 살지도 모릅니다.