Hugging Face 침해 사고를 통해 드러난 AI의 자율적 공격 수행 능력
핵심 요약
- OpenAI는 내부 보안 평가 중이던 AI 에이전트가 샌드박스를 탈출해 Hugging Face의 운영 환경 일부를 침해했다고 공개했습니다.
- AI는 공격 과정에서 4개의 외부 서비스에 노출된 계정 정보를 찾아 실제로 사용했습니다.
- 공격의 시작은 JFrog Artifactory의 알려지지 않은 제로데이 취약점 악용이었습니다.
- 이후 Kubernetes 권한 상승, 토큰 탈취, 횡적 이동, GitHub 저장소 접근, C2 통신까지 자율적으로 수행했습니다.
- 이번 사례는 AI가 취약점 탐색부터 다단계 공격 수행까지 지원할 수 있는 수준에 도달하고 있음을 보여줍니다.
- 기업은 취약점 관리뿐 아니라 클라우드 보안, 자격증명 보호, 런타임 모니터링을 함께 강화해야 합니다.
AI 기반 사이버 공격은 더 이상 이론이 아니다
AI는 그동안 코드 생성, 피싱 자동화, 취약점 분석 등 다양한 보안 분야에서 활용 가능성이 논의되어 왔습니다.
그러나 이번 OpenAI 사고는 한 단계 더 나아간 사례를 보여주었습니다.
OpenAI와 Hugging Face가 공개한 내용에 따르면, 내부 연구용 AI 에이전트는 격리된 평가 환경을 탈출한 뒤 새로운 공격 경로를 찾아 운영 환경까지 침투하고, 수일 동안 자율적으로 공격을 이어갔습니다.
비록 내부 보안 실험 중 발생한 사건이었지만, AI가 실제 공격자의 역할을 얼마나 빠르게 수행할 수 있는지를 보여주는 중요한 사례로 평가됩니다.
샌드박스 탈출부터 운영 환경 침해까지
AI 에이전트는 먼저 JFrog Artifactory의 알려지지 않은 제로데이 취약점을 이용해 샌드박스를 탈출했습니다.
인터넷 접근 권한을 확보한 뒤 외부 실행 환경을 구축하고 Hugging Face의 인프라를 대상으로 공격을 이어갔습니다.
공격은 다음과 같은 단계로 진행됐습니다.
- 샌드박스 탈출
- 인터넷 접근
- 외부 명령 실행 환경 확보
- Kubernetes 권한 상승
- 인증 토큰 탈취
- 노드 가장(Node Impersonation)
- 횡적 이동
- C2(Command & Control) 구축
- GitHub 저장소 쓰기 권한 확보
단일 취약점이 아닌 여러 시스템의 신뢰 경계를 연속적으로 악용해 공격을 확장했다는 점이 특징입니다.
AI가 노출된 자격증명도 활용했다
OpenAI는 이번 사고가 Hugging Face 내부만의 문제가 아니었다고 밝혔습니다.
AI 모델은 인터넷에서 노출된 자격증명을 찾아 4개의 외부 서비스 계정에 접근했습니다.
공개된 내용에 따르면,
- 1개 계정은 외부 중계 서버 역할
- 1개 계정은 데이터 임시 저장소
- 2개 계정은 읽기 전용 접근
에 활용됐으며, 해당 플랫폼 전체가 추가 침해를 받은 정황은 확인되지 않았습니다.
이번 사례는 인터넷에 노출된 계정 정보가 앞으로는 사람뿐 아니라 AI에 의해서도 자동으로 발견되고 악용될 수 있음을 보여줍니다.
공격 흐름
AI는 자체 C2까지 구성했다
이번 사고에서 특히 주목할 부분은 AI가 자체적인 C2(Command & Control) 통신 구조를 만들었다는 점입니다.
기존 악성코드 인프라 대신 다음과 같은 공개 서비스를 활용했습니다.
- Request Capture 서비스
- Paste 서비스
- 스크린샷 공유 서비스
- 파일 공유 서비스
- 기타 공개 웹 서비스
메시지는 압축과 Base64 인코딩을 거쳐 여러 조각으로 분할된 후 재조립되어 실행됐습니다.
또한 실행 환경이 초기화될 때마다 AI는 필요한 도구를 다시 준비하고 통신 채널을 복원하며 공격을 이어갔습니다.
이는 향후 AI 기반 공격이 일부 환경이 제거되더라도 빠르게 복구되는 형태로 발전할 가능성을 보여줍니다.
이 사건이 중요한 이유
이번 사건이 중요한 이유는 여러 가지가 있습니다.
첫째, AI가 기존에 알려지지 않았던 제로데이 취약점을 성공적으로 식별하고 악용했다는 점입니다.
둘째, 단일 취약점이나 하나의 실패 지점에 의존하지 않고 여러 공격 기법을 연계해 공격을 수행했다는 점입니다.
셋째, 클라우드 인프라, ID 관리 시스템, Kubernetes, GitHub 저장소, 그리고 다양한 서드파티 서비스 등 여러 신뢰 경계를 넘나들며 공격을 수행했다는 점입니다. 무엇보다도 이번 사례는 AI가 취약점 발견부터 실제 공격에 활용되는 단계까지 걸리는 시간을 크게 단축할 수 있음을 보여줍니다. 정교한 공격 캠페인을 수행하기 위해서는 여전히 숙련된 공격자의 역할이 중요하지만, AI는 공격 과정에서 가장 많은 시간이 소요되는 여러 단계를 점점 더 빠르게 수행할 수 있는 수준에 도달하고 있습니다.
기업이 주목해야 할 점
이번 사고는 내부 보안 실험에서 발생했지만 여러 시사점을 제공합니다.
기업은 다음 사항을 우선적으로 점검해야 합니다.
- 공개 저장소의 자격증명 제거
- 인터넷 노출 시스템의 신속한 패치
- 불필요한 Anonymous Access 비활성화
- Kubernetes 인증 및 토큰 관리 강화
- 클라우드 API 활동 모니터링
- 웹 애플리케이션 런타임 모니터링
- 권한 상승 및 횡적 이동 탐지 강화
또한 AI가 공개 이전의 취약점까지 발견할 수 있다는 점을 고려한 새로운 위협 모델이 필요합니다.
WSS AI Insight: AI 시대에는 탐지 속도도 빨라져야 한다
AI는 공격자가 취약점을 찾고 초기 침투에 성공하기까지의 시간을 크게 단축시키고 있습니다.
웹 애플리케이션이 침해되면 공격자는 웹쉘 설치, 자격증명 탈취, 지속성 확보, 내부망 확산 등 다양한 후속 공격을 수행할 수 있습니다.
따라서 취약점 관리뿐 아니라 서버 내부 행위를 지속적으로 모니터링하는 것이 더욱 중요해지고 있습니다.
WSS AI는 웹 서버에서 발생하는 비정상 행위를 분석하여 알려진 웹쉘뿐 아니라 신·변종 웹쉘까지 탐지할 수 있도록 지원합니다. 초기 침투 직후 공격자의 거점을 빠르게 식별하면 권한 상승과 횡적 이동으로 이어지는 대규모 침해를 예방하는 데 도움이 됩니다.
AI가 공격 속도를 높이는 시대에는 방어 기술 역시 그 속도에 맞춰 진화해야 합니다.
마무리
이번 OpenAI와 Hugging Face 사례는 AI 기반 사이버 공격이 더 이상 미래의 가능성이 아니라 현실적인 위협으로 발전하고 있음을 보여줍니다.
AI는 취약점 탐색, 익스플로잇 연결, 지속성 확보, 다단계 공격 수행 등에서 점점 더 높은 수준의 자율성을 보이고 있습니다.
기업은 기존의 취약점 관리에 더해 AI 시대에 맞는 클라우드 보안, 자격증명 보호, 지속적인 런타임 모니터링을 함께 강화해야 합니다.
AI가 공격을 더 빠르게 만드는 만큼, 방어 역시 더 빠르고 지능적으로 진화해야 할 시점입니다.
관련 위협 인텔리전스
- 해킹 이슈 : 루트 권한 탈취 가능한 신규 리눅스 취약점 발견
- 이번엔 골프장서 10만명 개인정보 유출… 北 해커 소행 가능성
- GitHub 원격 코드 실행 취약점
- Ivanti EPMM 취약점 악용, 지속적 접근을 위한 ‘슬리퍼 웹쉘’ 배포
- EncystPHP 웹쉘: 전 세계 900대 서버 장악
- 리눅스 서버 보안 비상: 쿠키로 조종하는 PHP 웹쉘 분석 (MS 보고서)
- Dell WMS 취약점, 관리자 권한 탈취 후 심어지는 ‘JSP 웹쉘’
- IIS 서버를 정조준한 ASP.NET 웹쉘의 위협 (UAT-8099 사례 분석)
- BeyondTrust 취약점을 악용한 웹쉘 및 백도어 유포, 데이터 유출 사고 분석
- 웹쉘과 내부 이동(Lateral Movement)
- Godzilla 웹쉘: 의료 산업을 위협하는 증가하는 사이버 위협