티쓰리큐는 자연어처리(NLP) 플랫폼 및 거대언어모델(LLM) 평가도구 '허깅페이스(HuggingFace) 오픈 LLM 리더보드'에서 자사 T3Q-DPO-Mistral-7B가 글로벌 2위를 차지했다고 19일 밝혔다.
T3Q-DPO-Mistral-7B는 Mistral-7B모델은 강화학습 계열 DPO(Direct Preference Optimization)방식을 이용해 파인튜닝한 모델이 다.
이 부문에서 약 76.7점 평균 점수를 얻었다. 특히 상식(HellaSwag)과 언어이해(MMLU), 환각방지(TruthfulQA) 능력 테스트에서 각각 89.23점, 64.42점, 78.41점을 받으며 기존 기록을 경신했다.
한국어 모델 부문인 Open Ko-LLM 리더보드에서도 티쓰리큐는 Upstage Solar 10.7B(107억)를 파인튜닝한 모델로 3위를 차지했다.
한국어 언어이해(Ko-MMLU)과 한국어 상식생성능력(Ko-CommonGen V2) 테스트에서 각각 58.57점, 56.08점을 받았다.
프로젝트를 이끈 이치훈 부사장은 “적은 매개변수로도 저비용-고성능의 효율성 있는 모델임을 입증함으로써 공공 및 민간조직의 특화된 데이터에 파인튜닝(SFT, DPO)을 거쳐 축적된 데이터를 T3Q의 인공지능 플랫폼들을 적용하면 환각은 최소화되고 보안은 유지되는 조직 특화형 Private-LLM을 구축하는 것이 가능하다”고 말했다.
LLM 파인튜닝을 지원하는 티쓰리큐 플랫폼은 3년(2021~2023) 200억 규모 통일부 프로젝트에서 검증됐다. 조달청 디지털서비스몰에 이름을 올렸다.
임중권 기자 lim9181@etnews.com
