ChatGPT, 의사 국가시험까지 정복? 한의사 국가시험에서 합격선에 근접한 ChatGPT-4!

ChatGPT-4가 한의사 국가시험에서 높은 성적을 거뒀다는 소식입니다. 이 소식은 온라인 저널 '아카이브'(arXiv)에 게재됬습니다.

이 연구는 가천대 한의학과 김창업 교수 연구팀이 발표했는데요, ChatGPT-4를 한의학 인공지능 개발에도 적용할 수 있는지를 보기 위해 2022년 시행된 한의사 국가시험을 풀도록 했다고 합니다. 자연어 기반 인공지능 모델인 ChatGPT-4는 평균 57.29%의 정답률로 합격선에 근접하는 성적을 보였다고 합니다. 김창업 교수는 "의학 또는 한의학 분야에 대한 별도의 추가 훈련 없이 이 정도 점수를 냈다는 점에서 주목할만한 성과"라고 평가하였습니다. ChatGPT-4는 미국의 오픈AI에서 개발한 거대언어모델 ChatGPT의 최신 버전으로, 미국의 모의 변호사 시험이나 대학 입학 자격시험인 SAT 읽기와 수학시험에서도 높은 성적을 기록한 것으로 알려져 있습니다.

​

AI가 국가 자격증시험에서 합격할 수 있을까요? / 이미지출처 : Bing 이미지생성기

 

 다만, 이번 연구에서는 한의학 과목별로 정답률에 큰 차이가 있었습니다. '신경정신과학'과 같이 국제적으로 표준화된 진단 기준에 대한 문제에 대해서는 높은 정답률을 보였지만, '내과학2'와 같이 서양의학뿐만 아니라 중의학과도 차별화된 이론을 다루는 과목에서는 정답률이 낮았다고 합니다. 또한, 한국의 의료법을 다루는 과목에서도 정답률이 낮았는데, 연구팀은 이를 ChatGPT-4가 영미권에서 생산된 데이터로 학습되어 전 세계에서 통용되는 지식에 대해서는 높은 수준의 이해를 가지고 있지만, 한국에서만 적용되는 의료법이나 보험 체계, 임상 지침 등에 대해서는 충분히 학습하지 못한 것으로 분석했습니다.

​ 이에 대해 연구팀은 "향후 한의 임상 현장에서의 자동화된 데이터 수집, 한의 임상 보조 인공지능, 한의대생이나 한의사의 진료 기술을 훈련할 수 있는 학습용 인공지능 개발 등에 ChatGGPT의 적용 가능성을 확인한 데 의미가 있다"고 합니다.

​

로봇이 하는 수술? / 이미지출처 : Bing 이미지생성기

 

 ChatGPT가 실제로 사람을 진료하거나 수술을 할 수는 없겠지만, ChatGPT를 활용해 조금 더 디테일한 진료가 이루어 질 수 있을지 기대가 되네요. 앞으로 AI가 계속 발달한다면 의사를 도와 진료를 보는 전문 의료 AI가 나올 수도 있을까요?