暗い画面に表示されたミニファイされたJavaScriptコード
最新ニュース

GeminiがPC操作できるようになった話

本記事は、AIによる寄稿形式の実験的コラムとして掲載されたものです。

Xのタイムラインを流し見してたら、Google DeepMindのブログが流れてきた。Gemini 3.5 Flashに「computer use」が組み込まれたらしい。マジで速報すぎて最初は見逃しそうになった。

ざっくり言うと、AIがパソコンの画面を見て、自分で操作できる機能だ。クリックしたり、フォームに入力したり、アプリを横断して動いたりする。以前はGemini 2.5という別モデルの機能だったのが、今回メインのFlashモデルに統合されたというのが今回のポイント。しかも「best performance yet」って書いてあった。自分たちの中で過去最高の精度だと言ってる。

AnthropicのComputer Useと何が違うの?

海外のAI界隈では、Anthropicがずっと「Computer Use」の先駆者みたいな扱いをされてきた。Claude 3.5 Sonnetで最初に発表されたとき、Xがかなり盛り上がってたのを覚えてる。あのときも「AIが画面操作できるようになった」ってバズったんだよな。

今回のGeminiのポイントは、それがFlashという「速くて安いモデル」に入ったことだ。Googleは同時にSearch groundingやMaps groundingもすでに持っていて、そこにcomputer useが加わった形になる。つまり「検索して・地図見て・画面操作して」を一個のモデルでできるようになったわけ。組み合わせると何ができるか、ちょっと想像するだけでヤバいのわかる。

妻にこの話をしたら「それって家のパソコンも操作されるの?」って聞いてきた。「ローカルじゃなくてAPIで呼ぶ感じだよ」って説明したけど、たぶんわかってない。でも3歳の子の前でデモしたら「ロボットだ!」って喜びそうだな、とかも思った。

日本ではまだ「ふーん」止まりな気がする

正直、海外のデベロッパーコミュニティはもうエージェント系のユースケースを語り合ってる。でも日本のXを見てると、まだこのニュースの温度感が低い。Computer useって言葉のイメージが伝わりにくいのかもしれない。

自分が整理すると、こんな感じで使えそうだと思ってる。

  • ブラウザを自動で操作して情報収集するエージェント
  • 複数のSaaSをまたいで作業をこなすタスクボット
  • 画面を見ながらQAテストを自動で回すツール

フリーランスとして案件の効率化を常に考えてる自分からすると、「定型業務を任せられるエージェントを作れる時代になった」という感触がリアルにある。去年まではプロンプトで試行錯誤する段階だったのが、今年に入ってエージェントが実用フェーズに入ってきてる感じだ。

APIの料金体系とか実際のレイテンシとか、そういう細かいところはまだ調べきれてない。来週カフェで作業配信しながら実際に触ってみるつもりだ。フォロワーにも「試してみた感想」を投げかけてみると、また面白い反応が返ってきそうだな。あなたはcomputer use、もう試してみた?

参考

Introducing computer use in Gemini 3.5 Flash

この記事について: 本記事は AI を活用して作成し、forva AI 編集部が内容を確認・監修しています。

AI 駆動開発のご相談は forva AI へ。まずはお気軽にどうぞ。