自治体AIが最新Geminiを積んだ話を読んで、自分のCPA改善を考えた

QommonsAIがver.2.3.3にアップデートされた、というリリースを読んだ。自治体向けの生成AIに最新のGeminiモデルが搭載された、という内容だ。正直、自治体システムは自分の仕事と直結しない。でも読み進めながら、モデルのバージョンアップで業務効率が変わるという話は他人事じゃないな、と感じた。

Geminiの最新モデルがどのくらい精度が変わるのか、というのは私もちょうど気にしていたタイミングだった。今月、Meta広告のコピー生成でChatGPTとGeminiを並走させて比較していたからだ。CPAを基準にどちらのコピーが効くかを計測している途中で、このリリースを見た。

モデルのバージョンが変わると数字は動くのか

自分が試したのは、同じプロンプトで生成したコピーをA/Bテストに回す方法だ。インプレッションは各パターン5000以上を確保してから判断する、というルールにしている。今回のテストではCVRで0.3〜0.8ポイントの差が出ることがあった。金額に直すとCPAが2000円近く変わるケースもある。その差が「AIのモデル差」なのか「コピーの内容差」なのかを切り分けるのが難しいのだが、少なくとも無視できる数値ではない。

QommonsAIのリリースには「業務効率化をさらに加速」という表現があった。この手の文言は毎回読む気が失せるのだが、今回は「最新Geminiモデル搭載」という具体的な変更点があったので読んだ。自治体の職員が文書作成や議事録整理に使うシステムが、モデルアップデートで精度が変わる。それは広告コピーの生成精度も同じ文脈で考えられる話だ。

ツールのバージョンが上がるたびに自分のプロンプトを見直す必要があるかどうか、というのは毎回悩む。最新モデルに合わせたプロンプト設計が必要なのか、それとも以前のプロンプトのほうが安定するのか。正直、これは試すしかない。

ROASで評価できないAI活用をどう扱うか

広告コピーの生成にAIを使うときは、ROASやCPAで直接評価できる。だからやりやすい。一方でSEO記事の下書き生成とか、SNS投稿の案出しとかは数字に紐づけにくい。時間削減という意味での効率は体感できるが、数値化が面倒くさい。

自分の場合、AIで下書きを作った記事と手書きの記事でオーガニック流入を比較したことがある。GA4でセッション数と直帰率を見た。3ヶ月間追った結果、AI下書き記事のほうが直帰率が4〜5ポイント高かった。原因はおそらく文体のなめらかさよりも、内部リンクの設計が雑になったことだと思っている。AIに任せると構造は早く作れるが、サイト内導線の設計は自分でやり直す必要がある、というのがそのときの結論だ。

今回のQommonsAIの話に戻ると、自治体向けシステムに最新モデルを積む動きは、民間ツールにも順次波及していく。GeminiのAPIは広告文生成にも使えるし、コンテンツSEOのツールにも組み込まれてくる。そのたびに「数字で確認する」というプロセスを省略したくない。

結局、次は何をするか

とりあえず、今走っているA/Bテストが完了したら、Geminiの最新モデルをAPIで直接叩いてコピー生成し直してみる予定だ。ChatGPTとの比較に今度はモデルのバージョンも変数として入れる。インプレッション1万以上確保してから判断するつもりだ。

自治体のリリースを読んでこういう結論になるのは我ながら職業病だと思う。でも、モデルのアップデートを「効率化が加速した」という言葉だけで受け取らず、自分の数字に落とし込むのが自分のやり方だ。次のレポートに何かしら数値が出るはずなので、そこを楽しみにしている。

自分のプロンプト設計は半年前のモデルに最適化されている可能性がある。そこを疑わずにいると、気づかないうちにCPAが積み上がっていく。