社内向けにClaudeやGPT系のAPIを組み込んだAIアシスタントを作っている開発者やSRE担当者に向けた内容です。ChatGPTなどの無料コンシューマー向けチャットボットと、企業契約のAPIでは、データの扱いが法的にも技術的にも別物です。この違いを曖昧にしたまま社内導入を進めると、思わぬ情報漏えいにつながります。
何が起きるか
社員が無料のコンシューマー向けチャットボットに、社外秘のコードや財務予測を貼り付けてしまうケースがよく問題視されます。無料版のチャットボットは、入力内容がモデルの再学習に使われる可能性があるためです。
一方でOpenAI・Anthropic・Google Cloudなどが提供する企業向けAPIでは、ZDR(Zero Data Retention、ゼロデータ保持)が契約で明示されています。入力データが基盤モデルの学習に使われないことも保証されています。
ただしZDR契約を結んでいるからといって、安全が確定するわけではありません。契約はあくまで「モデル提供側がデータをどう扱うか」の約束です。自社システムの設計に穴があれば、PII(個人を特定できる情報)の漏えいや、権限外の情報へのアクセスはいくらでも起こり得ます。
具体的には2つの落とし穴が典型です。1つ目は、PIIをマスキングせずにそのままAPIへ送ってしまうこと。2つ目は、社内ナレッジを検索するAIアシスタントで、権限管理が検索結果に反映されないことです。後者では、インターンが社内AIに「役員の給与は」「買収予定は」と聞いて、本来アクセス権のない情報が返ってしまう事態が想定されます。
なぜ起きるか
原因を段階的に分解すると、設計のどの層で穴が空いているかが見えてきます。
1つ目の層は「送信前のデータ処理」です。多くのプロトタイプ実装は、ユーザー入力をそのままプロンプトに埋め込んでAPIへ送ります。ZDR契約があるから安心、という発想で、送信前のサニタイズ(無害化処理)を省略してしまうケースが見られます。しかしクレジットカード番号や電話番号、マイナンバーに相当する識別子がログや監視システム、プロンプトインジェクション対策ツールを経由して別の場所に残る可能性は残ります。
2つ目の層は「検索(RAG)における権限継承」です。RAG(Retrieval-Augmented Generation、検索拡張生成)は社内文書をベクトルDBに格納し、質問に関連する文書を取り出してLLMに渡す仕組みです。ここで見落とされがちなのが、ベクトル検索自体にはアクセス権限の概念がないという点です。ベクトルDBは「意味的に近い文書」を返すだけで、「この利用者が見てよい文書か」は判定しません。アプリケーション側でRBAC(Role-Based Access Control、役割ベースのアクセス制御)を検索結果に適用しなければ、権限外の文書がそのままLLMのコンテキストに混入します。
3つ目の層は「監査ログの欠如」です。プロンプト・モデルの応答・ツール実行・人間による承認ステップが記録されていないと、後からインシデントを調査できません。プロンプトインジェクション(悪意ある入力でAIの挙動を乗っ取る攻撃)や、通常と異なるクエリ量の急増があっても検知が遅れます。
自分のプロジェクトが該当するか確認する
次の観点で、現在の実装を点検してみてください。
- APIプロバイダーとの契約書・利用規約でZDRの明記があるか(エンタープライズプランかどうかも確認対象です)
- ユーザー入力をAPIに渡す直前のコードに、正規表現フィルタやNERモデルによるPII検出処理があるか
- RAGのベクトル検索結果に、呼び出し元ユーザーの権限情報(部署・役職・クリアランスレベル等)でフィルタをかけるロジックがあるか
- プロンプトとレスポンスのペアが、改ざん検知可能な形でログに残っているか
- 社内の機密情報(HR給与データ、M&A関連文書など)が、他の一般文書と同じベクトルインデックスに混在していないか
コードベースを確認する際は、APIクライアントの呼び出し箇所(openai.chat.completions.createやanthropic.messages.createのような呼び出し)の直前に、サニタイズ処理の関数呼び出しがあるかを grep してみるのが早道です。
grep -rn "chat.completions.create\|messages.create" src/ | head -20該当箇所の直前数行に、マスキング関数やPIIチェッカーの呼び出しが見当たらなければ、サニタイズ層が存在しない可能性が高いです。
対策の手順
PIIマスキング層を挟む
API呼び出しの直前に、正規表現とNER(固有表現認識)を組み合わせたサニタイズ処理を挟みます。クレジットカード番号・電話番号・社員番号のようなパターンは正規表現で、人名や住所のような非定型な情報はNERモデルで検出し、トークン化(仮の識別子に置き換える処理)してから送信します。応答が返ってきたら、逆変換で元の値に戻す処理も必要です。
RBACをベクトル検索に組み込む
ベクトルDB側のメタデータに、閲覧可能なロールやチームIDを付与しておき、検索クエリの段階でフィルタ条件として渡します。検索後にアプリケーション側でもう一度権限チェックを行う二重防御(defense-in-depth)の構成が望ましい形です。ユーザーのアクセストークンをベクトル検索のリクエストに必ず含める設計にしておくと、後からの抜け漏れチェックがしやすくなります。
規制業種は専用環境の検討を
HIPAA(米国の医療情報保護法)やSOC2、PCI-DSSのような規制対象のデータを扱う場合、公開APIエンドポイントでは不十分とされる場面があります。AWS BedrockやGoogle Cloud Vertex AIのような基盤モデルを、専用のVPC(仮想プライベートクラウド)内にデプロイし、TLS 1.3で暗号化された専用回線で通信する構成が選択肢になります。トラフィックが公衆インターネットを経由しない構成です。
監査ログを最初から設計に入れる
プロンプト・応答・ツール実行・承認ステップを、改ざん検知可能な形で記録する仕組みを最初から組み込みます。異常なクエリ量やプロンプトインジェクションの兆候をリアルタイムで検知する監視も、後付けではなく設計段階で検討しておくと運用が楽になります。
まとめ
ZDR契約は「モデル提供側がデータを学習に使わない」という約束であり、自社システムの脆弱性まで防いでくれるものではありません。
点検すべきポイントは次の3つです。API呼び出し直前にPIIサニタイズ層があるか、RAGの検索結果にRBACが反映されているか、プロンプトと応答の監査ログが残っているかです。
まずは手元のコードでgrepを使い、API呼び出し箇所の前後にサニタイズ処理が存在するかを確認してみてください。存在しなければ、そこが最初に手を入れるべき場所です。