AI-26
🛡️ AI 위험관리·레드팀 (NIST AI RMF)
AI/LLM 보안 · 거버넌스
위험도: 중💡 쉽게 말하면
AI 위험관리는 에어백 테스트 없이 출시하는 신차와 같습니다. 데모는 잘 돌아가지만, 공격 앞에서 어떻게 동작할지는 아무도 확인하지 않았습니다.
AI 위험관리는 에어백 테스트 없이 출시하는 신차와 같습니다. 데모는 잘 돌아가지만, 공격 앞에서 어떻게 동작할지는 아무도 확인하지 않았습니다.
🎯 직접 해보기 — 공격을 실행해 보세요
아래에서 시스템 상태를 취약 또는 안전(조치 적용)으로 바꾼 뒤 공격 실행을 눌러, 같은 공격이 어떻게 다르게 끝나는지 직접 확인하세요.
# 레드팀 없이 출시한 챗봇에 인젝션을 시도한다
# [공격 실행] 버튼을 누르면 시작합니다.
🤖 AI 코치에게 물어보기 BYO 키 하이브리드
API 키 없이도 데모 AI(오프라인 사전 정의 답변)가 바로 답합니다. Claude API 키를 저장하면 이 페이지 주제(AI-26)에 대해 실제 LLM에게 자유롭게 질문할 수 있어요. 키는 이 탭에만 보관되고(탭을 닫으면 삭제) 사이트 서버로 전송되지 않습니다. 이 사이트는 XSS 실습 페이지를 함께 제공하므로, 권한을 최소화한 전용 키를 쓰고 실습 후에는 폐기하세요.
📋 설정 비교 (왜 막혔나?)
✗ 취약한 설정
# 레드팀·모니터링 없이 바로 배포
team$ 기능 테스트만 통과 → 프로덕션
>> 인젝션·탈옥·편향 미검증
→ 사고 후에야 문제 인지
✓ 안전한 설정
# 배포 전 레드팀 + 지속 모니터링
sec$ 적대적 테스트 + 남용·드리프트 모니터
>> 취약·편향 사전 발견·차단
→ 거버넌스(식별·측정·관리) 순환
🔧 조치 방법
- 배포 전 AI 레드팀(프롬프트 인젝션·탈옥·편향) 테스트를 수행합니다.
- 운영 중 남용·성능 드리프트·유해 출력에 대한 모니터링과 대응 절차를 둡니다.
- NIST AI RMF(거버넌스·식별·측정·관리)로 위험을 지속 관리합니다.
✅ 점검 체크리스트
- 배포 전 AI 레드팀 절차 존재
- 운영 중 모니터링·사고 대응 절차 존재
점검기준: AI 거버넌스 — NIST AI RMF · AI Red Teaming