퀄컴이 '온디바이스 AI' 핵심으로 이기종(heterogeneous) 컴퓨팅을 꼽았다. 또 서버·데이터센터를 통한 클라우드 컴퓨팅과의 호환도 중요하게 봤다.
정철호 퀄컴 CDMA 테크날러지 코리아 제품 마케팅 상무는 16일 전자신문과 반도체 패키징 발전전략 포럼이 공동 주최한 '반도체 한계를 넘다' 콘퍼런스에서 “스마트폰, PC를 비롯해 자동차, 사물인터넷(IoT) 등 다양한 기기에서 온디바이스 AI를 가속화하는 솔루션을 제공할 것”이라며 이 같이 밝혔다.
현재 각종 생성형 AI 서비스는 대부분 클라우드에서 구동된다. 하지만 클라우드에 의존하는 생성형 AI 서비스는 프라이버시 문제나 민감 정보 노출, 지연 시간, 비용, 전력 등 문제에서 자유롭지 않다. 이에 대한 대안으로 제시되는 기술이 온디바이스 AI다.
온디바이스 AI는 스마트폰이나 PC 등 디바이스에 탑재돼 클라우드를 거치지 않고도 기기 자체에서 학습과 추론을 처리하는 AI를 말한다. 개인정보 보호와 비용 절감에 유리하며 짧은 지연시간, 안정성 등에 강점이 있다.
정 상무는 “생성형 AI 사용자 수가 기하급수적으로 증가하면서 모든 것을 클라우드 기반으로 동작하기에는 어려움이 있다”면서 “온디바이스 AI 성능을 높이기 위한 신경망처리장치(NPU) 발전과 함께 클라우드 기반 AI를 활용한 하이브리드 컴퓨팅이 중요한 개념이 될 것”이라고 내다봤다.
현재 주요 글로벌 반도체 기업들은 온디바이스 AI를 활용할 수 있는 고성능 반도체 개발에 총력을 기울이고 있다. 퀄컴 헥사곤 NPU는 동급 최고 수준의 이기종 컴퓨팅 아키텍처인 퀄컴 AI 엔진의 핵심 프로세서다. 퀄컴은 헥사곤 NPU를 탑재한 PC용 프로세서인 스냅드래곤 X엘리트·플러스를 출시하면서 모바일 기기뿐만 아니라 PC에서도 온디바이스 AI 패러다임을 열었다.
정 상무는 “온디바이스 AI가 뛰어난 성능을 구현하려면 모델 자체가 비약적으로 발전해야하는 것은 물론 목적에 따라 중앙처리장치(CPU), 그래픽처리장치(GPU), NPU를 조합해 적절하게 활용하는 이기종 컴퓨팅이 굉장히 중요하다”며 “퀄컴은 지난 15년간 AI에 대한 연구를 진행해왔으며 이기종 컴퓨팅 강점을 바탕으로 스마트폰뿐만 아니라 PC, 확장현실(XR) 글라스, 자동차에 이르기까지 다양한 기기에서 온디바이스 AI를 가속화하는데 도움을 줄 것”이라고 말했다.
정현정 기자 iam@etnews.com
