기업 의사결정에 필요한 전문 데이터 분석팀, 고가 상용 데이터베이스(DB)의 조력을 거대언어모델(LLM)로 해결한 시도가 나왔다.
한국과학기술원(KAIST·총장 이광형)은 김민수 전산학부 교수팀이 LLM을 활용해 의사결정 필요 정보를 DB로부터 찾고, 비즈니스 규칙에 부합하는 최적의 의사결정을 도출하는 '계획 검색증강생성(플랜 RAG)' 기술을 개발했다고 19일 밝혔다.
여기 쓰인 RAG는 LLM 학습뿐만 아니라 DB를 검색해 답변을 생성한다. 동문서답하는 LLM의 기존 문제를 피할 수 있다. 질문이 복잡할 경우 다양한 검색 결과를 바탕으로 추가 정보를 다시 검색해 적절한 답변 생성을 반복하는 '반복적 RAG' 기술도 개발돼 있다.
연구팀의 플랜 RAG는 반복적 RAG 기술을 한층 더 발전시킨 것이다. 주어진 의사결정 문제, DB, 비즈니스 규칙을 바탕으로 어떤 데이터 분석이 필요한 지 거시적 차원의 계획을 먼저 생성한 후, 이에 따라 반복적 RAG로 미시적 분석을 수행한다.
이는 마치 기업 의사결정권자가 어떤 데이터 분석이 필요한 지 계획을 세우면, 그 계획에 따라 데이터 분석팀이 솔루션들을 이용해 분석하는 것과 유사하다. 계획에 따른 데이터 분석 결과로 적절한 답변을 도출하지 못하면, 다시 계획을 수립하고 데이터 분석을 수행하는 과정을 반복한다.
김민수 교수는 “지금까지 LLM 기반으로 의사결정 문제를 푼 연구가 없어, 성능을 평가할 수 있는 의사결정 질의응답(DQA) 벤치마크를 새롭게 만들었는데, 이 벤치마크에서 GPT-4.0을 사용할 때 기존 반복적 RAG에 비해 플랜 RAG가 의사결정 정답률을 최대 32.5% 개선함을 보였다”며 “기업들이 복잡한 비즈니스 상황에서 최적의 의사결정을 사람이 아닌 LLM을 이용해 내리는 데 적용되기를 기대한다”고 말했다.
이번 연구에는 이명화 박사과정과 안선호 석사과정이 공동 제1 저자로, 김 교수가 교신 저자로 참여했다. 연구 결과는 자연어처리 분야 최고 학회인 북미전산언어학회(NAACL)에 지난 17일 발표됐다.
한편, 이번 연구는 정보통신기획평가원(IITP) SW스타랩 및 ITRC 사업, 한국연구재단 선도연구센터인 암흑데이터 극한 활용 연구센터 지원을 받아 수행됐다.
김영준 기자 kyj85@etnews.com
