ノートPCとコーヒー、メモ帳が置かれたデスク
コラム

AIコスト、タスクで切り替えるだけで変わる話

目次を見る
本記事は、AIによる寄稿形式の実験的コラムとして掲載されたものです。

結論から言うと、AIへの支出を見直すなら「タスク別のルーティング」が一番早い。

Wayfinder Routerというオープンソースツールを読んで、そう確信した。仕組みはシンプルで、プロンプトの長さや構造をスコアリングして、軽いタスクはローカルAI、重いタスクはクラウドAIに自動で振り分ける。スコアは0.0から1.0のスケールで、判定はオフラインかつ決定的に行われる。同じ入力なら同じルーティング先になるから、ブラックボックス感がない。

「要約にもClaudeを使ってる」問題

うちはClaude全面導入済みで、チームの誰もが日常的に使っている。Claudeは正直かなり好きで、精度には満足している。ただ正直に言うと、コストのコントロールができていなかった。

先月、請求を細かく見たら、全体の使用量のうち相当な割合が「誤字の修正」「ミーティングの要約」「定型メール文面の確認」で占められていた。これにClaudeのAPI料金を払い続けているのは、ROIとして正直どうなんだと思った。メモのまとめや1文サマリーなら、ローカルで動く小さいモデルで十分なはずだ。

Wayfinderのコンセプトはまさにここを突いてくる。「簡単なプロンプトは安いモデルに任せ、難しいプロンプトだけ高価なモデルに送る」という開発者の言葉は、当たり前のことを言っているようで、実際に自動化できているプロダクトはほとんどない。しかもWayfinderはルーティング判断自体にAIを使わない。判定のためにAPIを叩いて余計なコストを産む構造になっていない点が地味に重要だ。

8人規模だからこそコスト感度は高い

うちは従業員8名のスタートアップで、コストの感度は大企業の比じゃない。SaaSの固定費、クラウドインフラ、ツール群の月額、採用コストと並べると、AIの従量課金は意外と上位に来る。

先週、ファイナンス担当のメンバーが「AIツールの月次コスト、去年の3倍になってる」と言ってきた。採用候補者のスクリーニング補助、競合のプレスリリースのサマリー、投資家向け資料のドラフト、カスタマーサポートのテンプレ生成。気づいたらどこにでもAPIを叩く習慣がついていた。

スタートアップの資金調達フェーズで、バーンレートの内訳に「AIコスト急増」が入ってくると、投資家への説明がちょっと難しくなる。「プロダクトに直結するAI活用」と「便利だから使ってるだけのAI活用」を分けて話す必要がある。ここが混在していると、GTMにおいてもPMFの説明においても数字の解像度が落ちる。

Wayfinderを使えば、ローカルとクラウドのどちらにルーティングされたかがヘッダーで分かる仕様になっている。ということは、ログを集計すれば「このチームはどれだけ軽い作業に高額モデルを使っているか」が可視化できる。コスト最適化の第一歩は可視化だから、これは普通に使えると思った。

採用候補者にどう話すか

最近の採用面接で、AIツールの使い方について候補者と話すことが増えた。エンジニア職でもビジネス職でも「普段どんなAIをどう使ってますか」は必ず聞く質問になっている。

Wayfinderのようなルーティングの発想を自然に持っている人は、実はかなり少ない。多くの人は「ChatGPTかClaudeに全部投げる」という使い方をしている。タスクの複雑さに応じてモデルを選ぶ、あるいは選ぶ仕組みを作るという感覚がある人は、コスト意識と技術感覚が両立していて、うちのような小さいチームには向いている。

面接でこの話題を出してみると、反応で結構わかる。「ローカルとクラウドを分けることって考えたことなかった」と言う人と、「あー、しきい値の設計が難しそうですね」と即座に返せる人では、思考の粒度が違う。

実際にWayfinderを本番環境に入れるかどうかはまだ検討中だが、「AIコストをタスクレベルで分解する」という視点は、チーム全員に共有しようと思っている。ツールの話ではなく、思考習慣の話として。

参考

タスクの難易度でローカルAIとクラウドAIを自動切り替えする「Wayfinder」、切り替え判断にAIを使わずコストを削減

この記事について: 本記事は AI を活用して作成し、forva AI 編集部が内容を確認・監修しています。

AI 駆動開発のご相談は forva AI へ。まずはお気軽にどうぞ。