오픈AI 등장 이후 지난 2년간 인공지능(AI)의 발전으로 더 많은 기업들이 거대언어모델(LLM)을 구축해 비즈니스 운영을 개선하고, 의사결정을 위한 통찰력을 얻는 등 AI를 기업의 비즈니스 운영에 통합해 나가고 있다.
반면 기업의 정보관리책임자(CIO)는 다양한 애플리케이션과 비즈니스 프로세스에 AI를 보다 폭넓게 채택해 보다 개인화된 고객경험을 제공하고, 여기에 민감한 데이터를 더 잘 관리해야 한다는 부담까지 안게 됐다.
실제 AI를 기업의 구조에 통합하려면 이를 뒷받침할 인프라, 그리고 모델이 성장함에 따라 필요한 컴퓨팅 성능과 에너지 사용량 측면에서 요구되는 사항들을 이해해야 한다. 하지만 안타깝게도 AI 모델 효율성이 10배 향상되면 컴퓨팅 전력 수요는 최대 1만배까지 급증할 수 있으며, AI 작업을 수행하는 데 필요한 에너지는 매년 26%에서 36%씩 요구량 증가가 가속되고 있다.
이러한 자원 운용의 문제에 더해 실시간 응답을 필요로 하는 요구까지 많아지면서, 기업은 원격 클라우드나 데이터센터로 데이터를 주고받을 때 발생하는 지연을 해결해 줄 방법을 찾아야만 했다. 뿐만 아니라 AI 시스템이 의료나 금융과 같은 민감한 데이터를 어떻게 관리하고 사용하는지, 또 해당 지역의 규정을 준수하면서도 데이터의 주권을 보장하고 AI모델을 잘 실행할 수 있는지도 신경 써야 한다.
기업들이 안전하고 정확한 AI 도입을 위해 저지연과 비용효율성, 정보보안까지 앞세운 엣지 컴퓨팅에 주목해야 하는 이유다. 엣지AI는 사용자와 가까운 혹은 사용자가 소속된 특정 지역에 위치함으로써 지연을 줄이는 한편, 민감한 데이터를 로컬(특정지역 또는 국가)에 유지해 향상된 개인정보보호 및 보안을 제공한다는 장점이 있다.
그렇다면 기업이 이렇게 주목받고 있는 엣지 AI를 사용하기 위해서는 어떤 과정을 거쳐야 할까? 일반적으로 기업이 AI 모델을 개발할 때 거치는 단계는 학습, 추론, 배포의 세 가지로 나눌 수 있다. 그 중 첫번째 단계인 대규모 AI 모델을 학습시키기 위해서는 GPU, NPU와 같은 강력한, 수십만개의 컴퓨팅 자원이 필요하다.
학습 단계를 거쳐 기업이 자신만의 모델을 만들더라도 이러한 모델을 사용해 텍스트, 이미지 또는 예측과 같은 출력을 생성하는 추론을 실행하려면, 역시 상당한 컴퓨팅 성능이 필요하다. 이 뿐만이 아니다. 첫 번째 단계와 두 번째 단계는 한 번의 절차로 끝나지 않고 수차례 혹은 수십차례 반복이 필요할 수 있어 기업에는 큰 부담이 된다.
다음으로 최종 사용자에게 빠르게 서비스를 제공하려면 추론된 모델의 출력을 세계 곳곳의 사용자들에게 전송해야 한다. 이 단계에서는 전 세계에 분포된 PoP(Point-of-Presence) 기반의 광범위한 콘텐츠 전송 네트워크(CDN)가 모델 출력을 전송하는데 있어서 가장 적합하다. 지역별 PoP, 즉 엣지 AI를 사용해 최종 사용자는 가장 가까운 곳에 위치한 AI 모델과 빠르게 상호작용할 수 있다.
이처럼 엣지 AI의 가장 큰 장점으로 저지연과 비용 효율성을 빼놓을 수 없다. 중앙 집중식 클라우드는 학습에 막대한 컴퓨팅 성능을 제공하지만, 개인정보 보호, 저지연 및 비용 효율성 측면에서의 경쟁우위에 어려움을 겪을 수 있다. 반면에 GPU의 사용량에 따라 비용이 계산되도록 하는 엣지에서의 AI 추론 배포는 기업이 자원을 비용 효율적이고, 탄력적으로 확장할 수 있도록 돕는다.
마지막으로 기업은 엣지 AI를 준비하기 위해 사용 사례와 도전 과제를 잘 파악해야 한다. 자동화 시스템, 로봇 공학, HR 및 고객 서비스 챗봇과 같은 산업 전반에서 AI의 잠재적인 활용 사례 뿐만 아니라, 데이터 통제, 규정 준수, 기술 및 예산과 같은 요소를 고려해 거대언어모델을 세밀하게 조정하는 것이 필요하다.
이 단계에서 정보관리책임자는 조직 내 AI 전문지식과 사용 가능한 자원을 바탕으로 모델 개발을 직접 제작할 것이냐, 혹은 구매할 것이냐에 대해 면밀히 검토해야 한다. 이런 결정이 이뤄진 다음에서야 학습 및 추론에 적합한 확장 가능한 인프라의 선택, 저지연을 보장할 최적의 경로 결정, 데이터 거버넌스 및 개인정보 보호의 처리, 비용 최적화 등의 선택을 할 수 있다. 기업이 이 복잡한 과정에 보다 손쉽게 다가서기 위해 특화된 AI클라우드, 컨설팅 제공업체와 협력하는 것도 좋은 방법일 것이다.
안드레 레이텐바흐 지코어 최고경영자(CEO) korea@gcore.com