위협 모델¶
보호 자산¶
- 프롬프트, 검색한 콘텐츠, 모델 텍스트, 도구 인자와 도구 결과에 든 원문 개인정보(PII).
- 요청 단위 토큰-원문 매핑.
- 분석기 자격 증명, 요청과 응답.
- 각 도구가 받을 수 있는 엔티티 유형을 정의한 애플리케이션 정책.
- 애플리케이션의 영속 저장소, 로그 또는 사용자에게 도달하기 전의 보호된 출력.
신뢰 경계¶
애플리케이션, 모델 provider, 분석기 provider와 도구 대상은 서로 다른 신뢰 경계입니다. 도구를 등록했다는 사실만으로는 원문 공개가 허가되지 않습니다. 애플리케이션이 정확한 도구 식별자에 정규 엔티티 유형을 명시적으로 허가해야 합니다.
모델과 분석기의 기밀성은 각 배포 계약에 따릅니다. 프로세스 내부에서 실행되는 확장 구현은 신뢰하는 애플리케이션 코드이지만, 지원되는 개인정보 보호 경계를 통과하는 데이터는 검증합니다.
위협과 통제¶
| 위협 범주 | 라이브러리의 통제 | 애플리케이션의 책임 |
|---|---|---|
| 탐지된 개인정보가 모델이나 애플리케이션 응답에 도달함 | 지원하는 모델 입력을 호출 전에 변환하고, 활성화된 출력 정책이 지원하는 완전한 응답을 검사합니다. | 탐지 재현율을 보정하고 지원하지 않는 필드와 경계 통과 뒤의 변경을 별도로 보호합니다. |
| 토큰이나 세션이 재사용·위조되거나 다른 스레드에서 사용됨 | 토큰, 매핑과 명시적인 세션 handle을 예측할 수 없는 요청 이름 공간으로 분리하고, 유효하지 않거나 닫힌 세션은 원문 공개 전에 거부합니다. | 요청이 진행되는 동안 세션을 유지하고, 매핑을 노출하지 않으며, 토큰을 인증 수단으로 취급하지 않습니다. |
| 도구가 허가받지 않은 개인정보를 받거나 새로운 개인정보를 반환함 | 정확한 도구·엔티티 식별자에 대해 원문 공개를 기본 거부하고, 지원하는 결과를 다음 경계 전에 다시 보호합니다. | 최소 권한을 적용하고 사용자 정의 도구 관리자, 해석기, 콜백과 결과 경로를 별도로 보호합니다. |
| 구조화·스트리밍·직접 반환 콘텐츠가 민감한 값을 숨김 | 지원하는 구조를 상한 안에서 해석하고, 활성화된 출력 보호가 직접 반환을 포함한 각 완성된 논리 응답을 검사합니다. | 애플리케이션 고유 인코딩을 미리 정규화하고, 전체 응답 검사를 활성화했다면 버퍼링으로 인한 증분 출력 제한을 수용합니다. |
| 분석기 탐지 근거가 잘못되거나 충돌하거나 사용할 수 없음 | core가 탐지 근거를 검증·해석하고, 결과 상한과 설정된 실패 정책을 적용합니다. |
provider를 보호·선택·보정하고, 가용성이 낮아졌을 때 탐지 범위 축소를 허용할지 결정합니다. |
| 실패나 진단 정보에 민감한 값이 포함됨 | 라이브러리가 소유한 실패와 관찰 이벤트에는 정제되고 종류가 제한된 메타데이터만 포함합니다. | provider·도구 예외, SDK 로그, 재시도, 추적 정보와 상세 진단 저장소를 보호합니다. |
| 민감한 데이터가 영속 저장소나 프로세스 메모리에 남음 | 요청 정리 시 라이브러리의 registry 참조를 제거하고 매핑을 프레임워크에 전달하는 payload에 직렬화하지 않습니다. | 데이터베이스, ChatMemory, 벡터 저장소, 로그, heap dump, debugger와 별도로 보존한 사본을 보호합니다. |
| 신뢰할 수 없는 입력이나 동기식 확장 구현이 자원을 고갈시킴 | 라이브러리가 소유한 구조 탐색, 보존된 탐지 근거와 버퍼링 검사에 상한을 두고, 확장 계약에 유한한 제한 시간과 중단 요청 협조를 요구합니다. | 필요하면 더 작은 배포 환경 상한을 적용하고, 신뢰하는 Regex·분석기·도구 구현을 검토합니다. |
| 지원하지 않는 콘텐츠나 사용자 정의 구성이 경계를 우회함 | 내용을 담을 수 있으며 안전하게 보존할 수 없는 알 수 없는 유형은 해당 지원 경계에서 안전하게 차단합니다. 관리되는 연동 구성은 지원 경로를 검증합니다. | 사용자 정의 변경을 보호된 경계 안에 두거나 별도로 보호합니다. |
정확한 정책 선택과 상한은 설정에 설명됩니다.
중요한 한계¶
보호는 설정된 분석기가 지원 경계에서 탐지한 콘텐츠에 적용됩니다. 모든 민감한 값을 탐지한다는 보장은 아닙니다.
불투명 토큰과 PrivacyContextHandle은 프로세스 내부에서만 사용하는
가명 요청 메타데이터입니다. 인증 자격 증명이나 익명 데이터가 아닙니다.
세션 정리는 라이브러리 참조를 해제할 뿐이며, 불변 문자열이나 다른 사본을
안전하게 삭제하지는 않습니다.
부분 분석 결과를 허용하면 탐지 범위가 줄어들 수 있습니다. 라이브러리가 소유한 실패 이벤트는 정제되지만, 애플리케이션이 소유한 provider·도구 실패는 원래 계약대로 전파됩니다. 실패 정책 계약은 설정을 참고하세요.
범위 밖¶
이 프로젝트는 모든 형태의 데이터 유출, 악의적인 모델 동작, 프롬프트 주입, 침해된 애플리케이션이나 호스트 프로세스, 안전하지 않은 애플리케이션 로깅, 권한을 가진 사용자의 메모리 검사, 영속 데이터에 대한 무단 접근을 모두 방지한다고 주장하지 않습니다.
또한 provider 관리 체계, 데이터 보존 정책, 네트워크 보안, 도구 권한 부여, 법률 검토를 대신하지 않습니다.