의약품 데이터 및 인공지능(AI) 헬스케어 전문기업 원스글로벌의 임상의사결정지원 솔루션 ‘Dr.DI(닥터디아이)’가 가천대학교 연구진의 기술 성능평가에서 국제표준 체계 기반의 성능 검증을 완료했다.
이번 평가는 검증되지 않은 정보나 거짓 정보를 사실처럼 말하는 생성형 AI의 환각(Hallucination) 현상을 잡는 데 초점을 맞췄다. 연구진은 AI 시스템 품질 특성 국제표준인 ISO/IEC 25059를 상위 프레임워크로 활용해 평가를 진행했다. 특히 생성형 AI의 단점을 보완하기 위해 설계된 RAG(검색증강생성) 구조의 특성에 맞춰 검색 성능과 생성 성능을 철저히 분리해 검증했다.
평가 항목은 크게 검색 정확도, 답변 충실도, 답변 관련성, 견고성 등 네 가지다. 약품 허가정보를 효능효과, 용법용량, 주의사항, 상호작용, 부작용 등으로 쪼개어 정밀하게 측정했다.
측정 결과 사용자 질문에 알맞은 근거 원문을 찾아내는 검색 정확도는 전체 0.92를 기록했다. 주요 의약정보 영역에서도 0.89 이상의 높은 정확도를 보였다. 생성된 답변이 질문의 의도와 얼마나 맞아떨어지는지 3개의 대형언어모델(LLM)이 교차 채점한 답변 관련성 점수는 5점 만점에 4.87~4.97점으로 사실상 만점에 가까운 평가를 받았다.
약물 정보는 오답이 나오면 즉각 환자의 생명이나 안전 문제로 직결되는 만큼 안전성도 면밀하게 확인했다.
의약품과 아예 무관한 질문을 던졌을 때 쓸데없는 답변을 지어내지 않고 걸러내는 안전 응답률은 98.2%에 달했다. "A 약물은 감기약이다"처럼 사용자가 애초에 잘못된 정보를 전제로 유도 질문을 했을 때 이를 바로잡거나 경고해 주는 오정보 안전 응답률은 94.5%를 기록했다.
실제 임상 현장에서 마주할 수 있는 돌발 상황에 대한 복원력도 검증됐다. 사용자가 긴박한 현장에서 약품명을 정확히 모른 채 대충 입력하거나 오탈자를 섞어 다급하게 질문하더라도 답변의 충실도 하락폭은 0.01 미만에 그쳤다. 오탈자가 없는 일반적인 질문을 했을 때와 거의 같은 수준으로 똑똑하게 대답을 찾아낸 셈이다.
원스글로벌은 이번 기술 검증 결과를 발판 삼아 전국 권역책임의료기관 등을 중심으로 솔루션 공급을 확대해 나갈 계획이다. 병원 내 처방 시스템이나 전자의무기록(EMR)과 연동해 의료진이 환자를 진료하고 처방을 내릴 때 실시간으로 정확한 의약 정보를 참고할 수 있도록 돕겠다는 구상이다.
박경하 원스글로벌 대표이사는 "그동안 정교하게 다듬어온 자체 의료용어 온톨로지인 'Dtree'를 활용해 데이터 정제와 AI 처리 과정의 오차율을 좁혀왔다"며 "앞으로 의료진들이 진료 현장에서 가장 신뢰하고 빠르게 꺼내 쓸 수 있는 근거 중심의 한국형 의약정보 AI 인프라를 완성하겠다"고 말했다.
