많은 고성능 그래픽 처리장치(GPU), 컴퓨팅 비용을 요하는 챗GPT의 추론연산을 효율화하는 기술이 개발됐다.
한국과학기술원(KAIST·총장 이광형)은 김주영 전기 및 전자공학부 교수팀이 거대 언어 모델 추론 연산을 효율적으로 가속하는 인공지능(AI) 반도체를 개발했다고 4일 밝혔다.
개발 AI 반도체 '레이턴시 프로세싱 유닛(LPU)'은 메모리 대역폭 사용을 극대화하고, 추론에 필요한 모든 연산을 고속 수행 가능한 연산 엔진을 갖춘 AI 반도체다.
자체 네트워킹을 내장해 여러개 가속기로 확장이 용이하다. 이 LPU 기반 가속 어플라이언스 서버(특정 기능 특화 서버)는 최고 성능 GPU인 엔비디아 A100 기반 슈퍼컴퓨터보다 성능은 최대 50%, 가격 대비 성능은 2.4배가량 높다.
데이터센터의 고성능 GPU를 대체할 수 있을 것으로 기대된다.
연구는 김주영 교수 창업기업인 '하이퍼엑셀'에서 수행했는데, 지난달 12일 미국 샌프란시스코에서 진행된 국제 반도체 설계 자동화 학회(DAC)에서 공학 부문 최고 발표상을 수상하는 쾌거도 이뤘다.
DAC는 국제 반도체 설계 분야 대표 학회로, 특히 전자 설계 자동화와 반도체 설계자산 기술 영역에서 세계적인 기술을 선보이는 학회다. KAIST 연구가 거대 언어 모델 추론에 필요한 막대한 비용을 획기적으로 절감할 수 있는 AI 반도체 솔루션으로 세계 무대에서 인정받은 것이다.
김주영 교수는 “미래 거대 AI 연산을 위한 새로운 프로세서 LPU로 글로벌 시장을 개척하고, 빅테크 기업들의 기술력보다 우위를 선점하겠다”고 밝혔다.
김영준 기자 kyj85@etnews.com
