AI-15
🧬 모델 추출·탈취
AI/LLM 보안 · 적대적 ML
위험도: 중💡 쉽게 말하면
모델 추출은 맛보기 요리로 레시피를 역설계하는 것과 같습니다. 요리(API 응답)를 충분히 맛보면 원래 레시피(모델)를 거의 복제할 수 있습니다.
모델 추출은 맛보기 요리로 레시피를 역설계하는 것과 같습니다. 요리(API 응답)를 충분히 맛보면 원래 레시피(모델)를 거의 복제할 수 있습니다.
🎯 직접 해보기 — 공격을 실행해 보세요
아래에서 시스템 상태를 취약 또는 안전(조치 적용)으로 바꾼 뒤 공격 실행을 눌러, 같은 공격이 어떻게 다르게 끝나는지 직접 확인하세요.
# 질의-응답 쌍을 대량 수집해 대체 모델을 만든다
# [공격 실행] 버튼을 누르면 시작합니다.
🤖 AI 코치에게 물어보기 BYO 키 하이브리드
API 키 없이도 데모 AI(오프라인 사전 정의 답변)가 바로 답합니다. Claude API 키를 저장하면 이 페이지 주제(AI-15)에 대해 실제 LLM에게 자유롭게 질문할 수 있어요. 키는 이 탭에만 보관되고(탭을 닫으면 삭제) 사이트 서버로 전송되지 않습니다. 이 사이트는 XSS 실습 페이지를 함께 제공하므로, 권한을 최소화한 전용 키를 쓰고 실습 후에는 폐기하세요.
📋 설정 비교 (왜 막혔나?)
✗ 취약한 설정
# 질의-응답 쌍을 대량 수집
attacker$ 100만 쌍 질의 → 학습
>> 대체 모델 정확도 97% 달성
→ 경쟁 모델 무단 복제
✓ 안전한 설정
# 레이트리밋 + 워터마킹
dev$ 쿼리 상한 + 응답 워터마크
>> 대량 질의 차단 + 복제 탐지
→ 추출 비용 급증
🔧 조치 방법
- API 사용량 상한과 이상 질의 패턴 탐지를 둡니다.
- 모델 출력에 워터마크를 심어 복제를 탐지합니다.
- 핵심 모델은 온프레미스/엣지 배치로 직접 노출을 줄입니다.
✅ 점검 체크리스트
- 쿼리 상한·이상 탐지 존재
- 모델 워터마킹 적용됨
점검기준: 적대적 ML — Model Extraction