金色の配線パターンが広がる基板の接写
現場の実践

LLMチャットボットのプロンプト変更、承認フローなき運用の見直し方

目次を見る

社内でAIチャットボットや音声ボットを運用していて、プロンプト(LLMに与える指示文)の修正を誰がどう承認しているか、説明できるでしょうか。多くの現場では「ちょっとした文言調整」のつもりでエンジニアがプロンプトを書き換え、そのまま本番に反映しています。これはコード変更と同じ重みを持つ判断でありながら、テストもレビューも省略されがちな領域です。

実際にクライアント向けの音声ボットを開発していたあるエンジニアの報告では、トライアル期限切れ案内をする営業ボットが、ルール違反を起こさなくなるまでに3週間で87回のプロンプト修正を要したとされています。1回の修正ごとに18件のテスト通話、58件・87分の通話録音を人手で確認し、合計で約61時間の検証作業が発生していました。しかもその間、エンジニア以外の誰も変更に「承認」を出していなかったといいます。

これは個別の失敗談ではありません。2024年には、カナダの航空会社Air Canadaが、自社チャットボットが勝手に作り出した返金ポリシーについて法的責任を問われた事例が報じられています。プロンプトの変更は実質的にコードの変更ですが、テストも承認プロセスもないまま本番に出てしまう構造が、業種を問わず存在しています。

どんな場面でこの判断が必要になるか

問い合わせ対応・返金判断・割引率の決定など、社内ポリシーに基づいて自動応答するボットを運用している場合、プロンプト変更の承認フローをどう設計するかは避けて通れない課題です。

とくに金融・EC・保険など、金額や条件に関わる判断をボットに任せている業務では、「誰が最終的にOKを出したか」を記録として残せるかどうかが、インシデント発生時の説明責任に直結します。

判断軸

承認ロジックの設置場所

まず確認したいのは、承認ルールを「プロンプトの中に書くか」「システム側の仕組みで強制するか」という点です。

プロンプトに「リリース権限者の許可がなければ変更しない」と書いても、それはAI自身への指示に過ぎません。巧妙な入力でその指示を無視させることは原理的に可能です。承認ロジックをAIの外側、つまりメッセージング基盤やワークフローエンジンの側に置けるかどうかが最初の分かれ目になります。

役割分離の粒度

次に、変更を作る担当・評価する担当・本番に反映する担当を、同一のエージェントやプロセスに兼任させていないかを確認します。

変更を書いたAIが自分で評価し、自分でリリースする構成では、実質的に「自分で自分を承認している」状態になります。これは社内の変更管理プロセスで、開発者が本番デプロイ権限も持っている状態に近い問題です。

検証コストと自動化の範囲

3つめの軸は、プロンプト変更のたびに人手でテスト通話を聞き直す運用を、どこまで自動のリグレッションテスト(既存機能が壊れていないかの回帰確認)に置き換えられるかです。

前述の事例では、1回の修正検証に人手で1時間以上かかっていました。これはテスト件数が増えるほど線形に悪化するコストであり、自動採点の仕組みがなければスケールしません。

承認者の技術レベルへの適合

最後に、実際に承認ボタンを押す人がターミナルやGitを扱えるかどうかです。

コンプライアンス担当者や事業責任者は、たいていエンジニアリングツールを日常的に使いません。承認フローの入口が、普段使っているSlackやTeamsのようなチャットツール上にあるかどうかは、運用が実際に機能するかを左右します。

選択肢の比較

紹介された事例では、Switch(コーディングエージェントとチャットツールを接続し、ルームごとの権限・宛先ポリシーを管理する基盤)とSlackを組み合わせ、Claude Code(Anthropicのコーディングエージェント)を使って4つの役割エージェント(変更作成・審査・ルール策定・リリース)を分離する構成を取っていました。

方式承認の強制力非エンジニアの関与しやすさ導入コスト
プロンプト内の自己申告ルール弱い(AIが無視できる)低いほぼゼロ
単一ボットでの承認+実行中程度(自己承認のリスク)中程度低い
役割分離+チャット上の権限承認強い(外部で強制)高い中〜高
従来型の変更管理チケット運用強い低い(UIが専門的)中程度

役割分離構成では、宛先ポリシー(どのエージェントに誰が話しかけてよいかのルール)をエージェントごとに設定します。変更作成役と審査役はエンジニアのみに応答し、ルール策定役はコンプライアンス担当のみ、リリース役は事業責任者のみに応答する形です。

この仕組みの要点は、エンジニア自身がリリース承認カードの「許可」ボタンを押しても、宛先ポリシーに反していればシステム側が拒否する点にあります。「あなたはこのエージェントに話しかける権限がないため、回答できません」という拒否メッセージが、ロールが機能している証拠になります。

ケース別の推奨

ボットの判断が金額・返金・契約条件に関わる場合は、役割分離+チャット上の権限承認の構成を検討する価値があります。Air Canadaの事例のように、ボットの誤った応答が法的責任につながりうる業務では、「誰が承認したか」の記録が残る仕組みが後々の説明責任を支えます。

社内FAQ程度の低リスクな応答ボットであれば、単一ボットでの承認+実行で十分な場合が多いです。誤回答のインパクトが小さいなら、重厚な役割分離は過剰投資になりえます。

既存の変更管理プロセス(チケット起票・承認)がすでに整っている組織は、無理に新しいチャット基盤を導入せず、プロンプト変更をその既存プロセスに乗せる方が合理的です。重要なのは手段ではなく、承認の記録が残り、第三者が追跡できることです。

自動採点の仕組みを作れるだけのテストケース(想定会話例)が揃っていない場合は、先に業務ポリシーをルール化し、テストケースを整備する方が優先順位として高くなります。紹介事例でも、48行の方針書から12のルールと40件のテストケースを先に作る工程が土台になっていました。

あえて見送るべき条件

一方で、次のような条件では複雑な承認基盤の導入を急ぐ必要はありません。

  • プロンプトの変更頻度が月に数回程度で、人手レビューで十分回っている
  • ボットの応答範囲が限定的で、金額や契約に関する判断を一切含まない
  • 社内にSlack等のチャットツールを承認フローの正式な記録として扱う合意形成ができていない
  • モデルの出力が不安定で、同じプロンプトでもテスト結果が毎回ばらつく状態のまま自動判定だけに頼ろうとしている

最後の点は実務上つまずきやすい部分です。紹介された事例でも、同じ条件のテストケースが実行のたびに合格したり不合格になったりする「誤検知」が起きています。対策として、疑わしいケースは複数回再実行し、一定回数以上失敗した場合のみ「違反」と判定する仕組みが取られていました。この閾値設計ができていない段階で自動承認に全面依存するのは、見送るべき条件に当たります。

まとめ

プロンプト変更を「ちょっとした文言修正」として扱わず、コード変更と同格の変更管理対象として扱えるかどうかが出発点です。

自分のプロジェクトを振り返るなら、まず次を確認してみてください。

  • 直近のプロンプト変更が誰の承認を経て本番に出たか、記録が追えるか
  • 変更作成・評価・リリースを同じエージェントやプロセスが兼任していないか
  • 承認者が普段使うツール(チャットや既存チケットシステム)の上で承認が完結する設計になっているか

この3点のいずれかに不安があるなら、重厚な基盤導入より先に、承認の記録を残す最小限の仕組みから整えるのが現実的な一歩になります。

参考

DRS for your AI: making a support bot wait for a person before it changes (Switch + Slack)

AI 駆動開発のご相談は forva AI へ。

まずはお気軽にどうぞ。