인공지능(AI) 언어 데이터 전문 기업 플리토가 오픈 Ko-LLM 리더보드에 새로 추가된 '감성평가'·'지시준수' 평가 지표 구축을 위한 데이터셋을 제공했다.
'오픈 Ko-LLM 리더보드'는 국내 거대언어모델(LLM)의 성능을 평가하기 위한 공개 플랫폼이다. 현재 해당 리더보드에 참여한 LLM 수는 1500개를 돌파했다.
플리토는 '오픈 Ko-LLM 리더보드'에 새로 추가된 평가 항목인 '감성평가(Ko-EQBench)'와 '지시준수(Ko-Instruction Following)'의 벤치마크 데이터셋을 한국어로 제공했다.
감성평가 지표는 대화 맥락에서 다양한 감정과 사회적 상호작용을 이해하는 능력을 검증한다.
지시준수 지표는 주어진 지시에 따라 정확히 행동하는지 평가한다. 기업 전용 언어 모델의 지시사항 이행 척도를 확인할 수 있는 가늠자가 돼 향후 중요한 테스트 기준으로 활용될 것으로 전망된다.
플리토는 지난 6월 추가된 '상식 추론'과 '수학적 추론' 지표 구축에도 참여한 바 있다.
플리토는 고품질의 한국어 데이터셋으로 한국 문화와 언어를 더 잘 이해하는 성능 평가를 가능하게 해 한국어 LLM의 신뢰성을 높이는 데 긍정적인 역할을 했다고 자평했다.
이정수 플리토 대표는 “한국어 성능이 보다 더 객관적이고 체계적으로 평가될 수 있도록 고품질 언어 데이터를 제공하는 데 힘을 보태겠다”고 말했다.
현대인 기자 modernman@etnews.com
