“기업들은 비즈니스와 관련해 수많은 데이터를 보유하고 있으나 여기에 AI 기술을 접목해 활용도를 높이기 까지는 해결할 과제가 남아 있습니다. 기업 내부 데이터를 파운데이션 모델(FM)에 접목하면 비즈니스 활용도를 높일 수 있습니다.”
이지은 한국IBM 전무는 22일 'CIO 서밋 2024' VIP 세미나에서 기업이 비즈니스에서 인공지능(AI) 기술을 적용할 수 있는 전략을 소개했다.
IDC 통계자료에 따르면 기업의 83%가 비즈니스 데이터를 AI 모델과 연계해 사용하면 경쟁력을 높일 것으로 응답했으나 여전히 기업의 약 48%는 AI를 도입하지 않고 검토하는 단계에 머무르고 있다. 생성형 AI로만 좁히면 국내 기업의 75%가 아직 도입 검토중이다.
이 전무는 “기업이 AI로 가치를 실현하려면 적절한 데이터를 선택하고 기업 시스템과 통합할 수 있는 기술이 필요하다”며 “기업은 자신의 워크플로우와 데이터가 어디에 있고, 애플리케이션이 어디서 실행되는 지 알아야 하며, 여기에 맞게 필요한 생성형 AI를 적용할 수 있는 'AI 주권'이 기업 경쟁력을 갖출 수 있는 요인이 된다”고 말했다.
이 전무는 데이터, AI 모델, AI 거버넌스 세 가지를 도전 과제로 꼽았다. 기업 내부 데이터가 과도하게 많은 상황에서 특성에 맞는 AI 모델을 선택하고, 데이터를 통합하는 기술, 이를 관리하는 역량이 필요하다는 것이다.
그래서 거버넌스 중요성이 커지고 있다. 기업이 직접 모니터링하고, AI 정확도를 확인해 잘못된 결과가 나오지 않게 전체 사이클을 관리하는 게 핵심이다.
IBM 왓슨x는 AI, 데이터, 거버넌스를 포괄하는 생성형 AI 플랫폼을 제공하고 있다.
이 전무는 “단기적으로는 혁신적인 AI 모델이 가치를 창출한다”며 “장기적으로는 데이터 품질이 생성형 AI로 성공할 키워드이기 때문에 데이터에 집중해야 한다”고 말했다.
이형기 한국IBM 상무는 △검색증강생성(RAG) △개체명 인식 △분류 △요약 △인사이트 추출 △컨텐츠와 코드 생성 등 6가지 기능이 AI 생산성을 높일 수 있는 핵심이라고 강조했다.
이 상무는 “회사마다 업무가 다르기 때문에 거대언어모델(LLM) 활용 방안은 기업 스스로가 찾아야 성과를 낼 수 있다”며 “IBM 전문인력은 고객 비즈니스 상황에 맞게 AI 솔루션 활용 방안을 제시해주고 있다”고 말했다.
기업은 LLM을 프라이빗 리전에서 사용해도 결국 LLM은 인터넷망으로 이어져 있어서 데이터 유출 위험도가 존재한다. IBM 왓슨x는 온프레미스(구축형) 기반으로 기업 내부에서만 데이터가 움직인다.
이 상무는 “고객사가 왓슨x 사용으로 비즈니스 요구사항을 충족하는 데 집중하고 있으며, 이는 AI 신뢰도로 이어진다”고 설명했다.
박두호 기자 walnut_park@etnews.com
