국내 연구진이 대형언어모델(LLM) 기반 절차 성능을 자동 평가하는 기술을 최초로 개발했다. 빠르고 객관적인 절차 생성 성능평가가 가능해질 전망이다.
한국전자통신연구원(ETRI)은 사람이 말로 작업을 명령하면 스스로 작업 절차를 이해하고 계획을 수립·수행하는 '절차 생성 인공지능(AI)' 성능을 자동 평가할 수 있는 '로타벤치마크' 기술을 개발했다고 7일 밝혔다.
기존에는 사람이 직접 평가함으로써 손이 많이 갈 수밖에 없었다. 구글 세이캔을 비롯 기존 연구에서는 여러 사람이 직접 작업 수행 결과를 관찰하고 성공·실패 여부를 투표하는 식이었다. 성능 평가에 긴 시간과 노력이 들고 평가 결과가 주관적이었다.
ETRI의 로타벤치마크는 사용자 명령에 따라 LLM 생성 작업 절차를 실행하고, 결과가 지시한 목표와 같은지 자동 비교해 성공 여부를 판단한다. 평가 시간·비용을 최소화할 수 있고, 결과가 객관적이다.
성능 평가는 미국 알렌AI연구소(AI2-THOR)와 미국 MIT(버츄얼홈) 가상 시뮬레이션 환경에서 이뤄졌다. '전자레인지에 차갑게 식힌 사과를 넣어라'는 일상적인 가사 작업 지시 명령을 내리고 각 작업 절차를 포함하는 데이터셋으로 평가했다.
연구진은 표현학습국제학회(ICLR)에 논문을 발표하고, 33종 LLM 절차 생성 성능 평가 결과를 깃허브에 공개했다.
알프레드(ALFRED) 기반 벤치마크 결과 오픈AI의 GPT-3는 21.36%, GPT-4는 40.38%, 메타의 라마2-70B 모델이 18.27%, 모자이크엠엘의 MPT-30B 모델이 18.75% 성공률을 보였다고 밝혔다. 규모가 클수록 절차 생성 능력도 우수했다.
연구진은 이 기술 개발로 LLM을 이용한 로봇 작업계획 기술 성능평가 시간·비용을 대폭 줄일 수 있다고 밝혔다. 또 연구진은 소프트웨어(SW)를 오픈소스 공개해 기업, 학교 등에서 자유롭게 활용할 수 있게 했다.
또 연구진은 로타벤치마크 기술 이점을 활용해 절차 생성 성능을 개선할 수 있는 두 가지 전략도 발견했다. '컨텍스트 내 예제 선별법'과 '피드백 기반 재계획'이다. 아울러 파인튜닝을 통한 절차 생성 성능 개선 효과도 확인했다.
장민수 ETRI 소셜로보틱스연구실 책임연구원은 “로타벤치마크는 절차 생성 AI 개발 첫걸음”이라며 “불확실한 상황에서 작업 실패를 예측하거나 작업 생성 지능을 지속 개선하는 기술을 개발할 계획”이라고 말했다.
김영준 기자 kyj85@etnews.com
