관련 통계자료 다운로드 카나나-v 의 한국어 성능 벤치마킹
카카오가 이달중 카나나 애플리케이션(앱)의 사내 테스트에 나선다. 내년 1분기에는 전 사용자를 대상으로 비공개 베타 테스트를 진행하기로 했다. 카나나 모델 설계의 밑바탕이 되는 생성형 인공지능(AI) '카나나 모델'은 한국어 성능 테스트에서 우수한 기술을 갖췄다는 평가다. 카카오가 경쟁력 있는 AI 서비스를 내놓을지 주목된다.
9일 업계에 따르면 카카오는 AI 메이트 서비스 카나나 앱의 사내 베타테스트를 이달부터 수행할 계획이다. 카나나는 현재 개발 단계 테스트를 진행 중이다.
카카오 관계자는 “사내 테스트를 앞두고 관련 프로세스를 진행 중”이라면서 “이달 사내 테스트를 시작한다”고 밝혔다.
카카오는 내년 1분기 일반 사용자를 대상으로 비공개 베타 테스트도 계획하고 있다. 정식 서비스 출시 일정은 확정되지 않았지만 내년 안에 정식 서비스를 시작할 가능성이 높다. 카나나가 AI를 활용한 카카오의 핵심 서비스다.
카카오는 생성형 AI 모델인 카나나 모델 성능도 강화하고 있다. 효율적으로 고성능을 구현할 수 있는 생성형 AI 모델 개발을 지향한다. 특히 카나나 모델은 뛰어난 한국어 성능과 함께 영어 능력, 멀티모달 능력 등을 갖춰가고 있다.
카카오는 지난 5일 테크 블로그에서 이미지·비디오 언어모델 카나나-v의 성능을 공개하면서 자체 벤치마크 테스트 결과, 평균 75.1 점으로 △GPT-4o(61.9점) △Qwen2-vL(54.3점) △GPT-4v(39.9점) △라바-원비전(LLavA-Onevision)(31.7점) 등과 비교해 뛰어난 성능을 갖추고 있다고 평가했다. 영어 성능 또한 평균 75.9점으로 GPT-4o(76.8점)에 이어 두 번째로 높았다. 카카오는 향후 카카오-v를 맥락에 공격적인 발언을 삼가면서 대화 맥락을 잃지 않고 작지만 효율적인 모델로 개발할 계획이다.
카나나 모델의 다른 AI 모델도 효율적인 성능을 인정받고 있다. 중소형 언어모델인 '카나나 에센스 모델'은 현재 글로벌 최고 성능을 가진 유사 사이즈의 대표 모델과의 성능 비교에서 유사하거나 높은 성능을 보였다. 특히 한국어 논리와 추론을 평가하는 KMMLU 벤치마크에서 우위를 보였다. 초경량 언어모델인 '카나나 나노'는 유사 사이즈의 글로벌 대표 모델과 비교했을 때 전반적인 벤치마크에서 평균적으로 탁월한 성능을 보였다.
카카오 관계자는 “(카카오의 AI 서비스에) 무조건 카나나 모델만 쓰는 것은 아니지만 다른 (AI) 모델을 포함해 효율이 잘 나오는 쪽을 선택해서 활용할 것”이라고 말했다.
변상근 기자 sgbyun@etnews.com
