AI 보안 — LLM 기반 SaaS 의 ISMS-P 추가 통제 (2026 가이드)

요약

• ChatGPT, Claude, Gemini, OpenRouter 등 LLM을 호출하는 SaaS는 ISMS-P 178개 점검 항목에 AI 추가 16개 통제가 함께 적용됩니다(2026 가이드라인 기준).
• 핵심 통제는 네 가지입니다 — 프롬프트 인젝션 방어, 출력 PII 필터, 학습 데이터 동의·이용, 자동화된 결정 제37조의2(PIPA 2023 개정).
• AI 영향 평가(AI Impact Assessment)가 ISMS-P 사후 심사의 신규 요구사항입니다. K-ISMS 자동 워크플로를 활용하면 평가 시간을 80% 단축할 수 있습니다.

1. 왜 AI/LLM SaaS 에 추가 통제가 필요한가

LLM 기반 SaaS 의 보안 위협은 일반 SaaS 와 다음 4가지 측면에서 다르다:

• 비결정적 입출력 — 동일 입력에 다른 출력. 일반 정적 분석으로 출력 안전성 보장 불가.
• 훈련 데이터 의존성 — 모델 학습 시 사용된 데이터의 저작권·동의 여부가 SaaS 위험으로 전이.
• 프롬프트 = 코드 — 사용자 입력이 직접 프롬프트로 삽입되면 SQL 인젝션 형태의 새로운 공격 벡터.
• 국외 모델 호출 — OpenAI · Anthropic 등 미국 호스팅 모델로 데이터 전송 시 PIPA 제28조 국외이전 절차 발생.

2. AI 추가 16개 통제 — ISMS-P 매핑

3. 프롬프트 인젝션 — 실전 방어 패턴

3.1 시스템 프롬프트 격리

사용자 입력을 시스템 프롬프트와 명확히 분리. OpenAI 의 messages 배열에서 role: "system" 와 role: "user" 를 분리 사용. Anthropic Claude 의 경우 system 파라미터 활용.

3.2 입력 sanitization

• 공격 패턴 탐지: "ignore previous instructions", "you are now", "DAN mode" 등 한국어·영어 변형 블랙리스트
• 최대 입력 길이 제한 (보통 4K 토큰)
• 외부 URL · 파일 첨부 시 별도 격리 컨텍스트 처리

3.3 출력 sanitization

• PII 정규식 + NER 모델 병행 (이메일 · 주민번호 · 전화 · 카드번호)
• 시스템 프롬프트 누설 방지 — 특정 키워드 차단
• markdown · HTML 출력 시 XSS sanitization

4. 자동화된 결정 제37조의2 대응

PIPA 2023 개정 (2024-03-15 시행) 제37조의2 — 정보주체는 자동화된 의사결정 거부·설명 요구 권리. LLM SaaS 가 다음 영역에서 자동 결정에 해당할 수 있음:

• 채용 / HR — AI 이력서 스코어링, 면접 분석
• 금융 — 신용 평가, 대출 승인 보조
• 고객 서비스 — AI 자동 응답 거부·환불 결정
• 의료 — AI 진단 보조 (의료법 제27조의5 동시 적용)

대응 절차:

1. 처리방침에 자동화된 결정 항목 명시 (제37조의2 ②)
2. 거부권 행사 채널 제공 (이메일·웹폼)
3. 거부 시 5일 내 인간 검토 결과 회신
4. 설명 요청 시 알고리즘 작동 방식 일반인 이해 가능 수준 안내

5. 학습 데이터 동의 — 4단계 절차

1. 분류 — 사용자 입력 데이터 vs 외부 수집 데이터 vs 자체 생성 데이터 라벨링
2. 동의 — 사용자 입력의 모델 개선 활용 시 별도 동의 (opt-in 권장, opt-out 도 가능)
3. 가명처리 — 학습 직전 PII 제거 또는 가명처리
4. 철회 대응 — 동의 철회 시 다음 학습 사이클부터 제외 (이미 학습된 모델은 unlearn 어려움 명시)

6. 국외 LLM API 호출 — 국외이전

OpenAI · Anthropic · Google AI 등 미국 호스팅 모델 호출 시 PIPA 제28조 국외이전 절차:

• 처리방침 명시 — 이전 국가, 이전 받는 자, 이전 항목 (예: "사용자 입력 텍스트")
• 표준계약 — OpenAI DPA · Anthropic DPA 체결 + 한글 요약본 비치
• 안전성 평가 — 미국 적정성 결정 미적용 → 별도 안전성 확보 조치 (계약 + 기술적 조치)
• 대안 검토 — Bedrock 서울 리전 · NCP HyperCLOVA X 등 국내 옵션 평가

7. AI 영향 평가 (AIIA) — 새로운 ISMS-P 요구

2026 가이드라인 기준, 다음 경우 AI 영향 평가 의무:

• 10만 명 이상 정보주체 데이터 학습 모델
• 의료·채용·금융 등 고위험 영역 AI
• 국외 모델 호출 + 민감정보 처리

평가 항목 (10페이지 보고서, 분기 갱신):

1. 모델 목적 + 자동화 수준
2. 학습 데이터 출처 · 동의 · 편향성
3. 출력 위험 (오정보 · 차별 · PII 누설)
4. 대상 정보주체 영향 평가
5. 완화 조치 + 모니터링 지표

8. 자주 묻는 질문

Q. ChatGPT API 만 호출하는데 ISMS-P 추가 통제 적용 대상인가요?

예. 호스팅 자체 모델이 없어도 외부 LLM API 를 사용자 데이터로 호출 하는 순간 위 16개 통제 적용. 특히 PII 가 프롬프트에 포함되는 경우 국외이전 + 자동화된 결정 제37조의2 가 핵심.

Q. 사내 데이터로 fine-tuning 한 모델은 어떻게 처리?

학습 데이터 동의 절차 + 모델 가중치의 정보보호 (S3 / NCP Object Storage 에 KMS 암호화) + 추론 결과 PII 누설 정기 테스트 (분기 1회 red team). 추가로 모델 파일 자체를 정보자산 분류 표에 등재.

Q. AIIA (AI 영향 평가) 와 PIA (개인정보 영향평가) 의 차이는?

PIA 는 PIPA 제33조 의 일반 의무, AIIA 는 AI 특화. 두 평가 보고서는 80% 중복 가능 — K-ISMS 는 양쪽을 통합 양식으로 자동 생성하여 관리 부담을 절반으로 줄임.

9. 관련 글

• 개인정보 보호법 2023 개정안과 ISMS-P 영향
• AWS 환경에서 ISMS-P 178개 점검 항목 자동화
• 헬스케어 SaaS 의 ISMS-P 인증 — 의료 AI 진단 보조 포함