악성 AI 도구 급증과 LLM 플랫폼 침해 증가 분석

Malicious AI Tools See 200% Surge as ChatGPT Jailbreaking Talks Increase by 52%

Malicious AI Tools See 200% Surge as ChatGPT Jailbreaking Talks Increase by 52%

 

• AI 위협 동향 개요
  • 2024년 한 해 동안 악성 사이버 행위자들이 대형언어모델(LLM)을 표적으로 삼는 활동이 급증함
  • KELA의 연례 보고서에 따르면 ChatGPT, Copilot, Gemini 등 LLM을 악용하려는 논의가 전년 대비 94% 증가함
  • 특히 ChatGPT 관련 탈옥(jailbreaking) 논의는 52% 증가했고, 악성 AI 도구는 200% 급증함
• LLM 탈옥(jailbreaking) 기법 확산
  • 해커 포럼(HackForums), XSS 등 지하 포럼에 LLM 우회 기법 관련 전용 섹션이 등장함
  • 주요 기법으로는 단어 변형(word transformation)이 있으며, 이는 27%의 안전성 검증을 회피함
    • 민감 단어를 동의어로 대체하거나 부분 문자열로 분할하여 필터를 회피함
  • 이러한 기법을 통해 피싱 이메일, 악성 코드 생성이 가능해짐
• LLM 계정 탈취 급증
  • 정보탈취형 악성코드(info-stealer malware)를 통해 주요 LLM 플랫폼의 사용자 계정 대규모 유출 발생
    • ChatGPT: 2023년 154,000건 → 2024년 3,000,000건 (약 1,850% 증가)
    • Gemini: 2023년 12,000건 → 2024년 174,000건 (약 1,350% 증가)
  • 유출된 계정은 LLM의 악의적 재사용, 프롬프트 탈취, 도구 남용 등에 활용될 수 있음
• 신규 공격 표면 및 위협 예측
  • 2025년에는 LLM의 대중화로 인해 새로운 공격 표면이 등장할 것으로 예측됨
  • 주요 위협 요소
    • 프롬프트 인젝션(prompt injection): 시스템 명령을 조작하여 악의적 결과 유도
    • 에이전틱 AI(agentic AI): 자율적 행동이 가능한 AI가 새로운 공격 벡터로 부상
  • 공격자는 LLM의 도구 호출 기능(tool usage), API 연동 기능, 자연어 기반 자동화 능력을 악용할 가능성이 높음
• 보안 권고
  • 안전한 API 연동 및 인증 체계 구축
  • 사용자 계정 보호를 위한 다단계 인증 및 접근제어 적용
  • 프롬프트 입력 필터링 및 샌드박싱 기술 도입
  • 딥페이크 탐지 및 악성 콘텐츠 생성 차단 기술 강화
  • AI 악용에 대한 내부 인식 교육 및 모의 훈련 실시
• 결론
  • LLM 계정 침해와 탈옥 기술의 급속한 확산은 AI 기반 사이버 위협이 기존 보안 체계를 우회할 수 있음을 보여줌
  • AI 레드팀 운영, AI 보안 테스트 자동화, 탐지 가능성 분석 등 사전 방어전략의 체계화가 필요함
  • 보안 솔루션 공급자와 기업은 AI 남용 탐지 기능을 자사 SIEM, EDR, IAM 시스템과 통합해야 함