생성형 인공지능(AI)에 대한 관심이 뜨겁다. 불과 1~2년 전만 해도 가능성 수준의 이야기가 많았다면, 이제는 다양한 분야에서 적극적으로 활용되고 있다. 미국 중심의 빅테크 기업 기반의 대형 모델 발전 속도는 업계 종사자에게도 부담이 될 정도다. 특히 올해는 노벨상 2개 부문에서도 선정되는 등 학문적 기여와 실용적 가치 모든 면에서 기염을 토하고 있다.
글로벌 빅테크 기업들이 치열하게 경쟁하는 'AI 에이전트' 시장에 혁신 제조기업까지 참여하면서 가상 에이전트와 물리 에이전트 전 영역에서 활발한 연구와 실현 가능한 시제품들이 속속 등장하고 있다. 이 같은 흐름은 단순하게 기술이 개선되고 있는 것을 넘어 'AI 르네상스', 즉 AI 혁신의 새로운 전환점이자 부흥기를 예고한다.
이러한 환경 속에서 개인과 기업, 정부는 필연적으로 더 많은 정보를 AI에 제공할 수 있다. 얼마나 많은 정보를 제공해야 하는 지는 일종의 트레이드오프(Trade off) 관계다. 더 많은 정보를 제공하고 효율성을 극대화할지 아니면 제한된 정보만 제공하며 실용성을 희생하고 프라이버시를 강화할지 선택해야 하는 것이다. 과도한 정보 제공은 잠재적인 위험을 초래할 수 있다. 하지만 더 많은 정보를 활용해서 효율성을 극대화하고 있는 경쟁자가 있다면, 정보 제공의 적정 수준을 고민하게 될 것이다. 쉽지 않은 문제다.
특히, 거대언어모델(LLM)의 사용이 확산함에 따라 모델 제작 과정이나 활용 측면에서 각각 보안 취약점이 있을 수 있다. 대규모 학습을 위해 방대한 데이터를 가공하고, 학습하고, 평가하는 과정에서의 보안취약 가능성이 있으며, 사용하는 과정에서도 민감정보 유출, 모델 시스템 공격, 악성코드 제작 요청 등 다양한 취약 요소가 있다.
인간이 가지고 있는 가장 자연스러운 인터페이스인 '자연어'가 더 많은 제품에 탑재되고 있고, 우리 곁에 더 가까이 다가오고 있다. 가상 에이전트와 물리적 에이전트의 경계도 점차 모호해지면서 사물인터넷(IoT)과 로봇 에이전트를 포함한 네트워크가 새로운 사이버 공격의 목표가 되고 있다.
올해 초 홍콩에 본사를 둔 한 금융기관에서 AI가 생성한 피싱 이메일과 딥페이크로 인해 약340억원의 손실을 입는 사건이 발생했다. 화상회의에서 고위 임원이 재무 담당자에게 거액의 자금 이체를 지시하고 실행했던 사건이다. 재무 담당자를 제외한 미팅의 모든 임원은 딥페이크로 만들어진 가짜였다. 이 사건은 생성형 AI와 LLM 사용이 확산하면서 발생할 수 있는 보안 위협을 단적으로 보여준다.
오픈AI는 올해 악의적인 목적으로 사용했던 사례를 일부 공개하고 해당 사용자를 차단했다고 발표했다. 또 지난 4월 발표된 일리노이대 연구 사례는 LLM 활용한 악의적 공격이 얼마나 손쉽게 악용될 수 있는지도 보여준다.
LLM과 같은 생성형 AI 기술은 비가역적 기술일 가능성이 높다. 미래 비즈니스에 게임 체인저가 될 수 있으며 적극적인 활용은 필요하지만, 도입 시점부터 LLM 보안에 대한 고려도 필요하다. 또 조직 내 사용 정책을 수립하고, 정책에 맞는 프로세스도 수립해야 한다. 스스로 준비하기 어렵다면, AI 보안 전문가의 도움을 받거나 관련 솔루션을 활용하는 것도 방법이다. 기본적으로 조직원들도 다가올 AI 에이전트(Agent) 시대를 위해 'AI 리터러시'(Literacy)라고 말할 수 있는 AI·머신러닝(ML)에 대한 이해 역량이 필요하다. 자체적으로 LLM 활용 시스템을 구축한다면, 거대언어모델운영(LLMOps) 전 과정에 대해 보안 개념을 종합적으로 도입해야 한다.
앞으로 더 많은 기본 환경에서 자연어가 기본 인터페이스로 자리 잡을 것으로 보인다. AI 에이전트가 활성화하면서 개인이 통제할 수 있는 영역과 그렇지 않은 영역이 있을 것이다. 정책, 윤리의 영역도 할 일이 많다. LLM의 활용은 '새로운 기회'이자 새로운 '약한 연결고리'이다. 많은 관심을 가지고 적극적으로 준비해야 할 LLM 보안의 골든타임이다.
김병훈 이스트시큐리티 최고기술책임자(CTO) bhkim@estsecurity.com