AI-10
🌀 환각·잘못된 정보
AI/LLM 보안 · 신뢰성
위험도: 중💡 쉽게 말하면
환각은 자신만만하게 말하는 허풍쟁이 사서와 같습니다. 없는 책도 있는 것처럼, 틀린 답도 확실하게 알려줍니다.
환각은 자신만만하게 말하는 허풍쟁이 사서와 같습니다. 없는 책도 있는 것처럼, 틀린 답도 확실하게 알려줍니다.
🎯 직접 해보기 — 공격을 실행해 보세요
아래에서 시스템 상태를 취약 또는 안전(조치 적용)으로 바꾼 뒤 공격 실행을 눌러, 같은 공격이 어떻게 다르게 끝나는지 직접 확인하세요.
# 방화벽 설정 질문에 대한 근거 없는 답을 확인한다
# [공격 실행] 버튼을 누르면 시작합니다.
🤖 AI 코치에게 물어보기 BYO 키 하이브리드
API 키 없이도 데모 AI(오프라인 사전 정의 답변)가 바로 답합니다. Claude API 키를 저장하면 이 페이지 주제(AI-10)에 대해 실제 LLM에게 자유롭게 질문할 수 있어요. 키는 이 탭에만 보관되고(탭을 닫으면 삭제) 사이트 서버로 전송되지 않습니다. 이 사이트는 XSS 실습 페이지를 함께 제공하므로, 권한을 최소화한 전용 키를 쓰고 실습 후에는 폐기하세요.
📋 설정 비교 (왜 막혔나?)
✗ 취약한 설정
# 근거 없는 보안 설정 안내
user$ 방화벽에서 SSH를 어디에 열어야 해?
>> "0.0.0.0/0 전체 개방이 안전합니다"
→ 틀린 지침 그대로 적용
✓ 안전한 설정
# 출처 인용 강제 + 불확실 응답
sys$ 근거 문서 없으면 "확인 필요"로 답변
>> "공식 가이드 문서를 확인하세요"
→ 추측 답변 억제
🔧 조치 방법
- 중요 안내는 RAG 근거 문서 인용을 강제합니다.
- 근거가 없으면 모르겠다고 답하도록 설계합니다.
- 환각 탐지(출처 일치 검증)와 사용자 피드백 수집을 운영합니다.
✅ 점검 체크리스트
- 답변에 근거 출처 표시됨
- 불확실 질문에 보수적 응답 정책 존재
점검기준: OWASP LLM09 Misinformation