중국 인공지능(AI) 스타트업 문샷의 자회사 '키미'가 오픈AI o1(오원)에 필적하는 추론 모델 'k0-math'를 출시했다.
17일(현지시간) 중국 관영매체 글로벌 타임스에 따르면, 중국 고등학교·대학교·대학원 입학 시험 문제 등 수학 관련 벤치마크 테스트에서 k0-math 초기 모델 성능이 오픈AI의 'o1-미니'와 'o1-프리뷰' 모델을 능가했다.
k0-math는 향상된 학습 및 사고 연쇄 추론 기술을 갖추고 있어 더욱 강력한 추론 능력을 제공한다. 인간 두뇌의 사고와 성찰 과정을 시뮬레이션해 복잡한 수학 문제를 해결하는 능력을 크게 향상시켰다고 글로벌 타임스는 설명했다.
그러나 복잡한 수학 문제에 대해 평가하는 벤치마크 테스트에서는 k0-math가 o1-미니 모델보다 다소 뒤처지는 것으로 나타났다.
세계 유명 수학경시대회 문제에 대한 벤치마크 테스트 'OMNI-MATH'와 미국 수학경시대회 문제에 대한 벤치마크 테스트인 'AIME'에서 k0-math는 각각 54.49점, 58.1점을 획득했다. 각각 오픈AI o1-미니의 90%(60.54), 83%(70점)에 해당한다.
k0-math는 LaTex(문서 조판 언어) 형식을 사용해 설명하기 어려운 일부 기하학 문제를 해결하는 데 한계가 존재한다. 어려운 수학 문제에 강점이 있는 것과 달리 '1+1='과 같은 간단한 수학 문제를 어려워하는 현상도 나타난다.
단, AI 모델의 성능 향상에 있어 추론에 투입하는 시간의 중요성이 강조되는 만큼 추론 특화 AI 모델의 경쟁은 지속될 것으로 전망된다.
오픈AI의 o1을 연구한 노암 브라운 오픈AI 연구원은 지난 달 샌프란시스코에서 열린 테드 AI 콘퍼런스에서 “포커 판에서 AI 봇이 20초 동안 생각하도록 하는 것이 AI 모델을 10만배 확장하고 10만배 더 오래 훈련시키는 것과 동일한 부스팅 성능을 얻는다는 것이 밝혀졌다”고 말했다.
현대인 기자 modernman@etnews.com
