미스트랄AI, 온디바이스 AI 모델 '미스트랄 3B', '미스트랄 8B' 출시

미스트랄AI가 온디바이스AI용 소형 AI 모델 '미스트랄 3B'와 '미스트랄 8B'를 공개했다. [사진=미스트랄AI 홈페이지 캡처]

프랑스 인공지능(AI) 스타트업 미스트랄AI가 노트북, 핸드폰 등에서 인터넷 연결 없이 구동할 수 있는 온디바이스 AI용 소형 AI 모델을 출시했다.

미스트랄AI는 16일(현지시간) 자사 블로그를 통해 새로운 온디바이스 AI 모델 '미스트랄 3B'와 '미스트랄 8B'을 공개했다.

두 모델은 50페이지 분량의 문서를 이해할 수 있는 수준인 12만8000개의 입력 토큰 처리 능력을 가졌다.

또 '젬마2 2B', '라마 3.2 3B·8B' 등 구글과 메타의 비슷한 규모의 AI 모델보다 벤치마크 성능에서 대체로 뛰어났다고 미스트랄AI는 설명했다.

'미스트랄 3B'와 '미스트랄 8B'의 벤치마크 성능을 메타와 구글의 비슷한 규모 AI 모델과 비교한 표. 사전학습 모델 간 비교 결과 미스트랄AI의 소형 AI 모델이 대체로 높은 성능을 보였다. [사진=미스트랄AI 홈페이지 캡처]

미스트랄AI가 온디바이스 AI 모델을 출시한 것은 고객 요구가 높아지기 때문이다.

미스트랄AI는 “고객들은 온디바이스 번역, 인터넷이 필요 없는 스마트 비서, 로컬 분석 및 자율 로봇 공학과 같은 중요한 애플리케이션에 대해 개인 정보 보호를 최우선으로 하는 현지 추론을 점점 더 요구하고 있는 추세”라고 밝혔다.

글로벌 빅테크 기업은 온디바이스AI에 적용할 수 있는 매개변수 100억개(10B) 미만의 소형 AI 모델을 출시하는 추세다. 구글 '젬마2 9B', 마이크로소프트(MS) '파이 3.5 미니', 메타 '라마 3.2 3B' 등이다.

AI 기업 관계자는 “국내 기업도 온디바이스AI 등 활용가치가 높고 거대언어모델(LLM)보다 비용효율적인 소형 AI 모델 출시에 집중하고 있다”며 “미스트랄AI의 온디바이스AI 모델 출시로 소형 AI 모델 경쟁은 더욱 치열해질 전망”이라고 말했다.

현대인 기자 modernman@etnews.com