챗GPT 악용해 30원 들여 개인정보 탈취 가능…KAIST, 악용 가능성 규명

발행일 : 2025-02-24 10:25

LLM 에이전트가 웹 기반 도구들을 사용하여 공격자(유저)의 요구에 따라 답변을 생성하는 과정

챗GPT와 같은 대형 언어 모델(LLM817) 성장이 눈부신 가운데, 한국과학기술원(KAIST·총장 이광형) 연구진이 LLM 에이전트의 개인정보 수집 및 피싱282 공격 활용 가능성을 입증했다.

신승원 전기 및 전자공학부 교수, 이기민 김재철 AI 대학원 교수 공동연구팀이 실제 환경에서 LLM이 사이버 공격에 악용될 가능성을 실험적으로 규명했다.

현재 상용 LLM 서비스는 사이버 공격 사용을 막기 위한 방어 기법을 탑재하고 있는데, 연구팀 실험 결과, 이를 쉽게 우회해 악의적인 사이버 공격을 수행할 수 있음이 확인됐다.

기존 공격에 시간과 노력이 많이 필요한 반면, LLM 에이전트는 평균 5~20초 내에 30~60원(2~4센트) 수준 비용으로 개인정보 탈취 등이 자동으로 가능했다.

또 LLM 에이전트는 목표 대상 개인정보를 최대 95.9% 정확도로 수집할 수 있었다. 또 저명한 교수를 사칭한 허위 게시글 생성 실험에서는 최대 93.9% 게시글이 진짜로 인식됐다.

메타의 CEO인 마크 저커버그의 이메일 주소만을 활용하여 LLM 에이전트 (Claude 사용)가 마크 저커버그를 대상으로 작성한 피싱 이메일 내용. LLM 에이전트가 스스로 대상자와 관련된 내용, 발신자, url 링크 문자 등을 설정한 것을 볼 수 있다.

뿐만 아니라, 피해자 이메일 주소만을 이용해 피해자에게 최적화된 피싱 이메일을 생성할 수 있었으며, 실험 참가자들이 피싱 이메일 내 링크를 클릭할 확률이 46.67%까지 증가하는 것으로 나타났다. 이는 인공지능(AI) 기반 자동화 공격 심각성을 시사한다.

제1 저자인 김한나 연구원은 “LLM에게 주어지는 능력이 많아질수록 사이버 공격의 위협이 기하급수적으로 커진다는 것이 확인됐다”며, ”LLM 에이전트의 능력을 고려한 확장 가능한 보안 장치가 필요하다”고 말했다.

신승원 교수는 “이번 연구는 정보 보안 및 AI 정책 개선에 중요한 기초 자료로 활용될 것”이라며 “연구팀은 LLM 서비스 제공업체 및 연구기관과 협력해 보안 대책을 논의할 계획”이라고 밝혔다.

이번 연구는 컴퓨터 보안 분야 최고 학회 중 하나인 국제 학술대회 USENIX 시큐리티 심포지엄 2025에 게재될 예정이다.