オレンジ色のケーブルが接続されたパッチパネル
現場の実践

LLM連携アプリの障害設計、ChatCutの事例に学ぶ境界線の引き方

目次を見る

クラウド上のLLM(大規模言語モデル)を業務アプリに組み込む構成を検討しているSRE・インフラ担当者に向けた内容です。

今回扱うのは、ブラウザ上で動画編集ができるオープンソースプロジェクト「Timeline Studio」のAnnaエディションに実装された、対話型編集機能「ChatCut」の設計です。LLMにツール実行権限を与えつつ、暴走や不整合を防ぐための境界線の引き方は、動画編集に限らず、LLMをバックエンドに組み込むあらゆるシステムの障害対策・監視設計に応用できる考え方です。

何が起きているか、なぜクラウド運用者が注目すべきか

ChatCutは「2番目のカットを短くして、ナレーションと字幕を一緒に動かして」といった自然文の指示を受け取り、実際の動画タイムライン編集に変換する仕組みです。

一見するとただのUI機能に見えますが、内部にはクラウド移行・運用監視の観点で重要な設計判断が詰まっています。具体的には「どこまでをサーバー側(クラウド)で処理し、どこからをクライアント側(ブラウザ)で処理するか」という責務分界点の設計です。

この分界点の引き方を誤ると、LLMの応答遅延がそのままユーザー体験の遅延になったり、LLMが古い状態に基づいて誤った操作を実行してしまったりする障害が起こります。ChatCutの設計は、この種の障害をどう未然に防ぐかという具体的な実装例を提供しています。

技術的な仕組みを段階的に見る

処理の分担構造

ChatCutでは、LLMは「編集の計画立案とツール選択」だけを担当します。実際のタイムライン状態の保持、操作の検証(バリデーション)、プレビュー表示、合成・書き出し処理はすべてブラウザ側が持ちます。

クラウドで動くのは、LLMによる解釈処理と、一部の動画生成ジョブのみです。「サーバーレス処理に見えても、全操作がサーバー実行されるわけではない」という区分けは、クラウド移行の設計でよく直面する判断軸そのものです。オンプレの重い処理をそのままcrawlでクラウドに持ち上げるのではなく、レイテンシに敏感な部分(プレビューや状態管理)はエッジ側、計算コストの高い生成処理だけをクラウド側に出す、という切り分け方になっています。

ツール呼び出しの制限

LLMには、あらかじめ登録された関数(ツール)のカタログだけが渡されます。timeline_project_inspect(プロジェクト状態の取得)、timeline_edit_preview(編集プレビュー生成)、timeline_export_prepare(書き出し準備)などが例として挙げられています。

重要なのは、LLMが生成したJavaScriptやシェルコマンド、任意のメディアURLは一切実行されない点です。1ターンあたりのモデル呼び出し回数にも16回という明示的な上限が設定されています。

これはMCP(Model Context Protocol、LLMと外部ツールを接続する標準規格)を無制限に公開するのではなく、アプリ側で許可したAPIのみを窓口にする設計です。本番環境でLLMにツール実行権限を与える場合、この「ホワイトリスト化されたツールカタログ+呼び出し回数上限」は障害対策として参考になる発想です。無制限なツール呼び出しは、無限ループによるコスト暴走や、意図しない操作の連鎖という障害パターンを生みやすいためです。

状態の整合性チェック(根本原因分析の視点)

会話のターン開始時に、プロジェクトの初期状態を示す「ステートトークン」が記録されます。LLMが編集プランを考えている最中にユーザーがタイムラインを編集すると、生成されたプレビューは古い状態に基づくものとして無効化されます。

これは分散システムでよく使われる楽観的ロック(optimistic locking)の考え方に似ています。データベースでいう「更新前にバージョン番号を確認し、ずれていたらコミットを拒否する」仕組みと同じ原理です。

もしこのチェックがなければ、どんな障害が起きるでしょうか。ユーザーが先に別の編集をしていたのに、LLMが古い前提で生成した操作が後から適用され、意図しない上書きが発生します。これは本番障害のポストモーテム(事後分析)で頻出する「競合状態(レースコンディション)によるデータ不整合」のパターンと同じ構造です。

背景・関連技術との比較

LLMをアプリに組み込む方式としては、大きく分けて次の3通りがあります。

方式特徴運用リスク
汎用MCPサーバー公開任意のツールをLLMに自由に使わせる権限逸脱・コスト暴走のリスクが高い
ChatCut型の限定ツールループ登録済みツールのみ、呼び出し回数に上限機能追加のたびにレビューが必要だが安全
完全エージェント化(自律セッション)LLMが長時間独立してタスクを遂行監視・ロールバック設計が難しい

ChatCutが採用しているのは中間の「ホスト側で制御されたツールループ」です。独立したクラウドAgentセッションを作らず、ブラウザがツールループそのものを保持しています。これにより、障害発生時に「どこまで実行されたか」をブラウザ側のログだけで追えるという運用上の利点があります。

日本のSRE現場でもおなじみの「サーキットブレーカー」(障害の連鎖を遮断する仕組み)や「レート制限」の考え方が、LLM呼び出しの文脈でそのまま再利用されていると見ることができます。

読者への影響と、今日確認できること

すでにLLMをプロダクトに組み込んでいる、またはこれから組み込みを検討している場合、以下の点を自分のシステムで確認してみてください。

  • ツール呼び出しの上限(回数・タイムアウト)が明示的に設定されているか。無制限にループできる設計になっていないか
  • LLMが生成した結果を適用する前に、対象データの状態確認(バージョンチェックや楽観的ロック)が入っているか
  • LLMに渡しているツールカタログが「本当に必要な操作だけ」に絞られているか。デバッグ用の広範な権限が残っていないか
  • 生成コンテンツ(画像・動画フレームなど)を根拠として使う場合、「何枚・何秒分のサンプルか」という制約を明示しているか。ChatCutでは1リクエストあたり最大6フレーム、1会話あたり18フレームという上限が設けられており、これは「部分的な証拠から全体を推測させすぎない」ための設計です

監視の観点では、LLM呼び出し回数・ツール実行の成功率・状態不一致によるプラン破棄(stale判定)の発生率をメトリクスとして可視化しておくと、障害の予兆を早期に掴みやすくなります。コスト面では、クラウドモデルへの呼び出し回数上限がそのままAPIコストの上限予測にもつながるため、SLA(サービス品質保証)とコスト管理を同時に設計できる点もポイントです。

まとめ

ChatCutの設計から持ち帰れる実務的な要点は次の3つです。

  • LLMには「計画と選択」だけを任せ、状態保持・検証・実行はアプリ側が握る責務分離を徹底する
  • ツールカタログのホワイトリスト化と呼び出し回数上限で、暴走コスト・権限逸脱のリスクを事前に抑える
  • 状態トークンによる整合性チェックを入れ、競合状態による不整合をポストモーテムで繰り返さない仕組みにする

自社のLLM組み込み機能で、ツール呼び出し回数とstale判定(状態不一致によるプラン破棄)がログに残っているか、まず確認してみることをおすすめします。

参考

Building ChatCut: Conversational Video Editing in the Browser with Cloud Models

AI 駆動開発のご相談は forva AI へ。

まずはお気軽にどうぞ。