LLMjacking, 클라우드 기반 생성형 AI 대상 공격의 부상

LLMjacking - Hackers Abuse GenAI With AWS NHIs to Hijack Cloud LLMs

LLMjacking - Hackers Abuse GenAI With AWS NHIs to Hijack Cloud LLMs

 

• 위협 개요
  • LLMjacking은 클라우드 기반 생성형 AI(Generative AI, GenAI) 서비스를 악용하는 새로운 유형의 사이버 공격
  • 공격자는 비인간 정체성(NHI, Non-Human Identities)인 API 키 및 머신 계정을 탈취하여 클라우드 환경의 대형 언어 모델(LLM)을 무단으로 사용
  • 피해 조직은 높은 비용과 악성 콘텐츠 생성에 따른 평판 피해를 감수해야 함
• 공격 기법 및 과정
  • 공격자는 GitHub, Pastebin 등에서 공개된 AWS API 키를 탐색하는 자동화된 봇 및 수동 탐색 도구를 활용
  • 키가 노출되면 평균 17분 이내, 최단 9분 만에 공격이 시작됨
  • 초기 정찰 단계에서는 AWS의 GetFoundationModelAvailability API를 호출하여 사용할 수 있는 LLM 목록(예: GPT-4, DeepSeek)을 확인
  • 이후 모델을 호출하거나, 악의적인 AI 콘텐츠를 생성하거나, 민감 정보를 추출하는 데 키를 악용
• 자동화와 수동 침투의 결합
  • botocore 같은 Python 기반 도구를 사용하는 자동화 봇이 초기 접근을 시도
  • 이후 공격자는 웹 브라우저를 통해 수동으로 클라우드 자산을 정찰 및 탐색
  • 이중 접근 방식은 광범위한 공격 자동화와 정밀 표적화 공격이 결합된 전술을 의미
• 영향 및 피해
  • LLM 호출 단가가 높기 때문에 공격자는 수천 달러의 비용을 빠르게 유발 가능
  • 마이크로소프트는 최근, Azure OpenAI API 키를 도용해 딥페이크와 악성 콘텐츠를 생성하던 사이버 범죄 조직을 해체한 사례 발표
  • 피해는 단순 금전 손실을 넘어 조직의 AI 환경 신뢰도와 브랜드에 치명적인 영향을 미침
• 보안 권고
  • 실시간 노출 감시: GitHub, CI/CD 파이프라인, 협업 툴 등에서 노출된 API 키 탐지 자동화
  • 자동 키 회전: 유출된 키는 즉시 회수하거나 회전하여 악용 시간을 최소화
  • 최소 권한 원칙 적용: 비인간 정체성에는 꼭 필요한 권한만 부여
  • 이상 행위 탐지: 모델 호출 패턴, 과도한 청구 요청 등 비정상 API 호출에 대한 알림 설정
  • 개발자 보안 교육: API 키 관리 및 저장에 대한 보안 인식 제고 필수
• 결론
  • LLMjacking은 고비용의 클라우드 AI 자원을 겨냥한 새로운 사이버 위협으로, 자동화 공격과 수동 정찰이 결합된 복합적 공격 패턴을 보임
  • 생성형 AI가 업무에 깊숙이 통합됨에 따라 NHI 보안은 선택이 아닌 필수
  • 조직은 클라우드 AI 서비스의 오남용을 방지하기 위해 비인가 접근에 대한 탐지 체계와 비밀 관리 강화를 우선적으로 추진해야 함