인공지능(AI) 전문기업 셀렉트스타가 신한은행 내부적으로 생성형 AI 성능을 평가할 수 있는 벤치마크 데이터셋 개발에 착수했다.
생성형 AI 기술을 은행 내부 업무에 효율적으로 적용하는 게 목적으로 다른 기업에서도 자체 AI 벤치마크 시스템을 구축하려는 시도가 늘어날 전망이다.
셀렉트스타에 따르면, LG CNS와 함께 신한은행 거대언어델(LLM) 도입 프로젝트를 하고 있다. 신한은행은 직무 별로 쉽고 편리하게 생성형 AI 서비스를 선택해 이용할 수 있는 방안을 찾고 있다. 시중에 나온 여러 AI 모델을 대상으로 성능과 보안성은 물론 기존 솔루션과 잘 호환·연계되고, 비용이 합리적인지 두루 비교·분석하고 있다.
예컨대 오픈AI 'GPT-4'는 자연어 처리 능력은 뛰어나고, 이미지나 영상을 인식하는 멀티 모달 기능을 지원한다. 앤트로픽이 공개한 '클로드 3'는 차트나 표 등 시각 처리 능력이 우수하고 GPT-4와 비교해서 많은 양의 텍스트를 요약 처리할 수 있다. 반면 이미지나 영상 생성은 지원하지 않는다.
자체 벤치마크 체계가 마련되면 업무에 따라 LLM을 복합 연계·활용하는 전략을 세울 수 있다. 대량의 보고서를 요약 정리하는 업무나 간단한 코딩, 이미지를 자주 활용하는 작업 별로 다른 LLM을 선택해 활용하는 것도 가능하다.
최근 생성형 AI 기술이 가파르게 발전하면서 벤치마크 항목으로 기존의 지식과 언어, 추론 등에서 나아가 보안이나 신뢰성 등 보다 광범위한 평가기준이 제시되고 있다.
황민영 셀렉트스타 부대표는 “생성형 AI 활용 시 LLM 벤치마크와 리더보드 성적을 참고할 수 있지만, 절대적인 것은 아니다”라며 “기업마다 각각의 업무에 필요한 LLM을 어떻게 적용할지 해당 기업 전용 벤치마크 체계를 마련하고 있다”고 말했다.
셀렉트스타는 AI·데이터 전문기업으로 지난해 한국지능정보사회진흥원(NIA)의 'LLM 신뢰성 벤치마크 데이터' 사업을 수행하며 AI 모델의 신뢰성을 정량적으로 평가하는 기준을 마련하기도 했다.
김명희 기자 noprint@etnews.com
