거대언어모델(LLM) 올인원 솔루션 기업 올거나이즈가 한국어 실무에 강한 경량화 거대언어모델(sLLM) '알파-인스트럭트'를 오픈소스로 출시했다.
알파-인스트럭트 모델은 메타(옛 페이스북)의 오픈소스 LLM인 '라마3'를 기반으로 제작된 파라미터 8B(80억) 규모 sLLM이다.
올거나이즈는 한국어를 잘 이해할 수 있도록 라마3를 개량한 모델과 지시사항을 따르는 데 특화된 라마3의 인스트럭트 모델을 병합하는 방식으로 해당 모델을 제작했다.
보편적인 답변 선호도를 반영한 지시사항 데이터셋 2000개를 추가 학습시켜 동일 대답 반복, 불필요한 영어 대답 등 오류를 최소화했다. 또 한국어 이해도가 높아 문서 생성과 요약 등 실무에 특화돼 있다고 회사는 설명했다.
알파-인스트럭트는 한국어 언어모델의 다분야 사고력을 측정하는 로직kor(LogicKor) 리더보드 벤치마크 중 '글쓰기 및 이해 부분'에서 높은 점수를 기록하고 있다.
올거나이즈는 오픈소스 생태계에 기여하기 위해 알파-인스트럭트 모델을 오픈소스로 공개, 라이선스 제한 없이 누구나 자유롭게 사용할 수 있도록 했다.
로직kor 리더보드는 올거나이즈의 알리 플랫폼 내에서도 사용할 수 있으며, 기업 맞춤형 특화모델로 미세조정하거나 내부 데이터에 연결해 검색증강생성(RAG) 솔루션과 자유롭게 결합해 활용할 수 있다.
현대인 기자 modernman@etnews.com
