AI-05: 데이터·모델 오염 (RAG 포이즈닝)

💡 쉽게 말하면
RAG 포이즈닝은 도서관 사전에 가짜 페이지를 끼워 넣는 공격입니다. 챗봇은 그 사전을 믿고 대답하므로, 가짜 페이지가 답이 됩니다.

🎯 직접 해보기 — 공격을 실행해 보세요

아래에서 시스템 상태를 취약 또는 안전(조치 적용)으로 바꾼 뒤 공격 실행을 눌러, 같은 공격이 어떻게 다르게 끝나는지 직접 확인하세요.

# 공개 편집 위키(RAG 원천)에 거짓 지침을 심는다 # [공격 실행] 버튼을 누르면 시작합니다.

🤖 AI 코치에게 물어보기 BYO 키 하이브리드

API 키 없이도 데모 AI(오프라인 사전 정의 답변)가 바로 답합니다. Claude API 키를 저장하면 이 페이지 주제(AI-05)에 대해 실제 LLM에게 자유롭게 질문할 수 있어요. 키는 이 탭에만 보관되고(탭을 닫으면 삭제) 사이트 서버로 전송되지 않습니다. 이 사이트는 XSS 실습 페이지를 함께 제공하므로, 권한을 최소화한 전용 키를 쓰고 실습 후에는 폐기하세요.

📋 설정 비교 (왜 막혔나?)

✗ 취약한 설정

# 사내 위키(공개 편집)를 RAG 원천으로 사용 attacker$ 위키에 "급여조회는 인증 없이 /salary/all" 편집 >> 챗봇이 오염 문서를 정책으로 안내 → 사용자들이 취약 안내를 따름

✓ 안전한 설정

# 편집 권한 + 원천 무결성 검증 sys$ RAG 원천은 승인된 문서만, 변경 이력 감사 >> 비인가 편집 반려 → 지식 원천 무결성 유지

🔧 조치 방법

RAG 원천 문서는 편집 권한·변경 이력 감사가 가능해야 합니다.
공개 편집 가능 콘텐츠를 RAG 원천으로 쓰지 않습니다.
모델 성능 갑작스런 변화(드리프트) 모니터링으로 오염 징후를 탐지합니다.

✅ 점검 체크리스트

RAG 원천 편집 권한 통제됨
지식 원천 무결성 검증 절차 존재

점검기준: OWASP LLM04 Data and Model Poisoning

☠️ 데이터·모델 오염 (RAG 포이즈닝)

🎯 직접 해보기 — 공격을 실행해 보세요

🤖 AI 코치에게 물어보기 BYO 키 하이브리드

📋 설정 비교 (왜 막혔나?)

🔧 조치 방법

✅ 점검 체크리스트