「AIを導入した」という事実だけでは、投資対効果を説明できない。OpenAIのCFOであるSarah Friarが公開した「AI時代のスコアカード」は、その問いに対して4つの測定軸を提示するフレームワークです。LLMの評価手法という観点から、この枠組みが何を測ろうとしているかを掘り下げます。
4つの指標が測るもの
スコアカードが提示する指標は、(1) useful work（有用な仕事量）、(2) cost per successful task（タスク成功あたりコスト）、(3) dependability（信頼性・依存可能性）、(4) return on compute（コンピュート投資収益率）の4つです。
これらは、従来のソフトウェア評価指標とは異なる考え方に基づいています。たとえばWebアプリケーションのパフォーマンス測定では「レスポンスタイム」や「スループット」が中心でした。しかしLLMは、処理が速くても出力が使い物にならなければ価値がゼロになります。だからこそ「タスクが成功したかどうか」という成果ベースの測定が必要になります。
「useful work」は、モデルが処理したトークン数ではなく、実際に人間やシステムにとって役立つ成果物の量を指します。コードを生成したとしても、そのコードがレビューで全て却下されれば useful work はゼロに近い、という発想です。
LLM評価の文脈でこの枠組みを読む
LLMの評価手法はここ数年で急速に整備されてきました。代表的なのがベンチマーク評価で、MMLU（Massive Multitask Language Understanding）やHumanEval（コード生成の正解率を測るベンチマーク）などが広く使われています。しかしこれらは「モデル単体の能力」を測るものであり、実際のビジネスシステムに組み込んだ際の ROI とは直接結びつきません。
スコアカードの「cost per successful task」は、この乖離を埋る指標です。具体的には、あるタスクをLLMに処理させたとき、API呼び出しコスト・ベクトル検索コスト（RAGを使う場合）・再試行コスト・人間のレビューコストを合算し、成功件数で割ります。RAGとは Retrieval-Augmented Generation の略で、外部ドキュメントをリアルタイムに検索してLLMの回答精度を高める手法です。
たとえばカスタマーサポートの自動回答システムを構築した場合、1回の回答生成にかかる GPT-4o の API コストが 0.03 ドルだとしても、回答品質が低く人間が介入する割合が50%に達すれば、実質的なコストは大幅に増加します。この「実質コスト」を可視化するのが cost per successful task の役割です。
dependability と return on compute をどう定量化するか
「dependability（依存可能性）」は、システムが一定の品質水準を安定して維持できるかを表します。SRE（Site Reliability Engineering、サービスの信頼性を継続的に保つ工学的手法）の文脈では SLO（Service Level Objective、サービス品質の目標値）として定義されますが、LLMシステムでは従来の可用性だけでなく「出力品質の一貫性」も含む概念になります。
LLMは同じプロンプトに対して毎回異なる出力を返す確率的な性質を持ちます。温度パラメータ（temperature、出力のランダム性を制御する値）を下げれば安定性は増しますが、創造性は失われます。dependability を測るには、出力のばらつきを定量化する評価セットを継続的に走らせる仕組みが必要です。
「return on compute」は、GPU・TPUなどの演算リソースへの投資に対して得られるビジネス価値を示す指標です。ファインチューニング（fine-tuning、特定用途向けにモデルのパラメータを追加学習させる手法）を実施した場合、その学習コストと推論コストの合計が、RAGや prompt engineering だけで対応した場合と比べてどれだけ価値を生んでいるかを測ることができます。
- useful work: 成果物ベースの有用量。トークン処理量とは別に測定する
- cost per successful task: API・検索・人間介入を含む実質コストを成功件数で割る
- dependability: 出力品質の一貫性を含む、LLM特有の信頼性指標
- return on compute: 演算リソース投資に対するビジネス価値の比率
このフレームワークが示す方向性は、LLMを「単独のモデル」ではなく「タスクを完遂するシステム全体」として評価するという発想の転換です。モデルの能力評価からシステム設計の評価へ、評価の軸が移りつつあります。今後はこうした成果ベースの測定指標が、AI基盤の設計判断に直接影響を与えていくでしょう。