Kant's IT/Issue on IT&Security

오픈AI의 데이터 스크래핑, 디도스 수준 피해 논란

Kant Jo 2025. 1. 21. 22:54

美 데이터 기업 “오픈AI, 데이터 스크래핑에 디도스 공격 수준 피해”

 

美 데이터 기업 “오픈AI, 데이터 스크래핑에 디도스 공격 수준 피해”

오픈AI가 특정 기업 웹사이트 데이터를 대량 스크래핑하면서 사실상 디도스(DDoS) 공격과 같은 피해를 입었다는 의혹이 제기됐다. 12일(현지시간) 테크크런치에 따르면, 미국 3D 이미지 데이터 기

www.etnews.com

 

  • 사건 개요
    • 미국 3D 이미지 데이터 기업 트리플갱어스는 오픈AI의 반복적인 크롤링으로 인해 웹사이트가 과부하를 겪고 다운됐다고 주장
    • 오픈AI 크롤링 봇이 약 600개의 IP를 이용해 약 5만 6,000개의 제품 페이지와 수십만 개의 이미지를 스크래핑하려 시도
    • 서버 과부하로 인해 웹사이트 운영 비용이 증가하고 전자상거래 사이트가 다운되는 피해 발생
  • 트리플갱어스의 주장
    • 오픈AI의 크롤링이 디도스(DDoS) 공격에 준하는 피해를 발생시켰다고 지적
    • 크롤링을 방지하기 위한 기술적 조치인 robots.txt 파일 제공을 알지 못하는 기업이 피해를 입을 가능성이 크다고 경고
    • 오픈AI가 크롤러 사용과 관련해 기업들에 미리 알리지 않음으로써 상황을 악용한다고 비판
  • 오픈AI 크롤링의 문제점
    • 대량 스크래핑으로 서버에 과도한 부하를 유발해 피해 기업에 경제적 부담을 초래
    • 크롤링 활동에 대한 사전 동의 없이 방대한 데이터를 수집하려는 행위가 논란의 중심
    • 크롤링 활동이 허용된 범위를 초과하거나 기업의 명시적 동의를 무시할 경우 법적 책임 가능성 존재
  • 결론
    • 데이터 수집 과정에서 윤리적, 법적 책임이 중요하며, 크롤링 활동 시 기업의 정책 준수가 필수적
    • 데이터 크롤링으로 인한 피해를 예방하기 위해 robots.txt 파일 및 방화벽 설정 강화 필요
    • 기업은 크롤링 방지 기술을 도입하고, 주요 데이터 자산의 보호를 위해 보안 체계를 점검해야 함
    • 오픈AI와 같은 대규모 데이터 기반 기업은 크롤링 활동의 투명성을 확보하고, 피해 방지를 위한 가이드라인을 제시해야 함