ChatGPT, 영상의학 전문의 시험 통과

​

얼마 전에 ChatGPT가 한의학시험을 통과했다는 소식을 전해드린적이 있죠? 최근 연구에서 ChatGPT가 영상의학 전문의 자격시험에서도 합격 수준의 성적을 얻었다고 합니다.

​

캐나다 토론토대 메디컬이미징센터의 교수팀은 이번 연구에서 영상의학 전문의 자격시험 문제를 통해 ChatGPT의 성능을 평가하고자 했습니다. 연구에서는 GPT-3.5와 GPT-4 기반의 ChatGPT를 테스트하였고, 시험 결과 GPT-4는 합격 수준의 성적을 기록하였으며, GPT-3.5는 합격선에 근접한 성적을 보였습니다.

​

시험은 영상의학 전문의 시험 방식을 따라 진행되었으며, 문항 유형은 저차원적 사고 문제와 고차원적 사고 문제로 분류되었습니다. GPT-3.5 기반의 ChatGPT는 저차원 사고 문제에서는 높은 정확도를 보였지만, 고차원 사고 문제에서는 성적이 낮았습니다. 그러나 GPT-4 기반의 ChatGPT는 전체적으로 높은 정확도를 기록하였으며, 특히 고차원 문제에서의 성능이 크게 향상되었습니다.

​

하지만 연구팀은 GPT-4의 정보 수집 신뢰성에 대해 의문을 제기하였습니다. GPT-4는 GPT-3.5와 비슷한 수준의 저차원 사고 문제에서는 비슷한 성적을 보여주었지만, GPT-3.5가 정답을 낸 문항에서도 GPT-4가 오히려 오답을 생성하는 경우가 있었습니다. 이는 GPT-4의 정보 수집 신뢰성에 대한 의문을 제기하는 것입니다.

​

연구팀의 바야나 교수는 "처음에는 챗GPT의 정확하고 자신감 있는 답변에 놀랐지만, 다음에는 비논리적이고 부정확한 주장에도 자신감을 가지고 응답한다"고 말했습니다. 이는 ChatGPT가 자신감 있게 틀린 응답을 생성할 수 있다는 것을 의미합니다. 따라서 초보자가 이런 자신감 있는 틀린 응답에만 의존한다면 실수할 위험이 있으므로 항상 사실 확인이 필요하다는 점을 강조하였습니다.

​

그러나 바야나 교수는 이 연구 결과를 통해 GPT-4의 강화된 고급 추론 기능이 영상의학에서도 큰 성능 향상을 이끌어냄을 확인할 수 있다고 말했습니다. 이는 ChatGPT와 같은 거대언어모델(LLM)의 잠재력을 입증하는 결과라고 덧붙였습니다.