Google DeepMind と A24 が research partnership を発表した。A24 といえば「Midsommar」「Everything Everywhere All at Once」とか、あのインディー系映画スタジオだ。そこと DeepMind が組むというのが正直けっこう驚いた。
発表文を読むと、複数プロジェクトをまたいだ R&D コラボレーションで、A24 のフィルムメーカーが実際に制作プロセスへ DeepMind の技術を組み込んでいくらしい。Google は A24 に投資もしている。つまりただのプレスリリース的な提携じゃなく、資本まで動いている。
最初に読んだとき「クリエイティブ系に AI を使わせてみるやつね」と流そうとしたんだけど、ちょっと待てと思った。「アーティストが使いながら技術をシェイプしていく」という部分、これ workflow と technique の development が目的だって書いてある。つまりモデルを作って提供するんじゃなく、制作現場のフィードバックを研究に直接返す loop を設計したってことだ。
これ、自分が個人開発で感じてたことと構造が似てる。自分は最近、動画の字幕生成を自動化する小さいツールを作っていて、Gemini の API を叩いてる。とりあえず動かしてみたら transcript の精度がえぐい一方、長尺動画のコンテキスト維持がハマりポイントだった。プロンプトを調整して少し改善したけど、結局「使いながら気づいたこと」をフィードバックする手段がない。
DeepMind と A24 がやろうとしているのはその部分を制度化することで、現場のフィルムメーカーが体感した「ここが使えない」「ここが神」をちゃんと研究側に戻す仕組みを作ろうとしている。これ、OSS でいう upstream contribution に近い感覚がある。
自分の個人開発に引きつけると、いま使っている Gemini 1.5 Pro の動画理解は確かに精度は高いけど、コスト面が気になっている。動画 1 本あたりのトークン消費を見るとこんな感じだ。
# 1 時間動画を 1fps で送った場合の概算
# input tokens: 約 1,800,000
# Gemini 1.5 Pro: $3.50 / 1M tokens
# → 1 本あたり約 $6.30個人開発で月に 30 本処理したら軽く $200 近くになる。えぐい。なので今はサンプリングレートを落としたり、まず whisper で文字起こしして要約だけ Gemini に投げる形に変えて cost を 1/5 くらいに抑えた。
DeepMind × A24 が現場フィードバックをモデルに返していくなら、こういう実用コストの問題も当然入ってくるはずで、そこが面白いと思っている。大手スタジオの制作環境でも「API コスト えぐい」って話は絶対出るはずで、そのフィードバックが Gemini 系のモデル改善に影響するなら自分にも恩恵がある。
もう一個気になったのは「filmmaker-forward studio」という表現だ。要は制作者主導で技術を使いこなすという姿勢を A24 が持っているということで、逆に言うと技術側がいくら良いものを作っても使い手が workflow に組み込めなければ意味がない、という話でもある。
エンジニアとして自分のコードに引きつけると、ライブラリ選定でも同じことがある。機能が豊富でも ergonomics が悪いと誰も使わない。最近チームで image processing ライブラリを選ぶとき、benchmark だけ見て選んだらドキュメントが壊滅的で結局リプレイスした。ちゃんと「使いながら評価する」プロセスを踏まなかった自分たちの失敗だった。
DeepMind がこのパートナーシップで得ようとしているのは、まさにその「使いながらじゃないと気づけない feedback」だ。研究レベルでそれを取りに行くのはかなり本気だと思う。
とりあえず自分は Gemini の動画系 API のアップデートをこれまで以上に追うようにする。A24 案件で磨かれた何かが API に乗ってくるとしたら、それは字幕ツールを次のレベルに持っていける可能性があるから。