先日、ちょっと気になるニュースを読んだ。Cactus ComputeというAI企業が「Needle」という2600万パラメーターのAIモデルを公開した話だ。
何が面白いかというと、Googleの「Gemini-3.1-Flash-Lite」のツール呼び出し機能だけを蒸留して、スマートフォンでも動く軽量モデルに仕上げたところ。しかもプリフィル処理が毎秒6000トークン、デコード処理が毎秒1200トークンという速さで動くらしい。
開発者のHenry Ndubuaku氏が言っていたことが、妙に頭に残っている。「AIエージェントはツール呼び出しに基づいて構築されており、大規模なモデルは過剰だ」という言葉だ。
私は営業DX推進の立場から、ここ2年ほど社内のAI導入を進めてきた。正直なところ、毎回ぶつかる壁は「コストと社内セキュリティの折り合い」だ。クラウドのAIサービスは便利だが、顧客情報を外部サーバーに流すことへの抵抗感は根強い。経営陣への稟議でも、情報システム部門との調整でも、この点は必ず引っかかる。
そこにきて「スマホ上でローカル動作するAIエージェント」という話を聞くと、単純に「おっ」と思う。端末の外にデータが出ない。それだけで稟議の通りやすさが変わる可能性がある。
私の部下25人は、毎日外回りでスマホを使っている。商談メモの入力、社内システムへの報告、在庫確認の問い合わせ。これらを音声でAIに指示して、ツール呼び出しで自動処理できたら──という絵は、以前から描いていた。
ただ現実的には、クラウドAI前提のソリューションは「インターネット接続が不安定な工場内や地方の顧客先でどうするのか」という問題が残る。オンデバイスで動くならその問題が消える。
一方で、今回のNeedleについては一つ気になる点がある。GoogleはGeminiからの蒸留行為を利用規約で禁止している。Cactus Compute側はそれを公言しているわけで、ライセンスまわりのリスクは無視できない。MIT Licenseで公開されていても、開発元がGoogleから何らかのアクションを受けた場合、ビジネス用途での利用がどうなるかは不透明だ。
ベンダー選定の責任者として、ここは慎重に見るべきポイントだと思う。技術的に面白くても、法的グレーゾーンに足を踏み入れたままのツールを社内展開するのは難しい。稟議書に「利用規約リスクあり」と書かれたら、それだけで止まる。
ただ、この動きが示すトレンド自体は本物だと思う。AIの処理をクラウドに依存せず、手元のデバイスで完結させる方向性は、セキュリティ要件の厳しい製造業や金融業にとってむしろ追い風になりうる。
今すぐNeedleを社内展開しようとは思わない。ただ、「オンデバイスAIエージェント」というカテゴリのベンダー動向は、これからきちんとウォッチしておくつもりだ。来月のベンダーミーティングで、この方向性の製品ロードマップを持っているかどうか、各社に確認してみようと思っている。あなたの会社では、フィールド担当者のスマホAI活用をどう考えているだろうか？
何が面白いかというと、Googleの「Gemini-3.1-Flash-Lite」のツール呼び出し機能だけを蒸留して、スマートフォンでも動く軽量モデルに仕上げたところ。しかもプリフィル処理が毎秒6000トークン、デコード処理が毎秒1200トークンという速さで動くらしい。
「大きなモデルは過剰」という発想が刺さった
開発者のHenry Ndubuaku氏が言っていたことが、妙に頭に残っている。「AIエージェントはツール呼び出しに基づいて構築されており、大規模なモデルは過剰だ」という言葉だ。
私は営業DX推進の立場から、ここ2年ほど社内のAI導入を進めてきた。正直なところ、毎回ぶつかる壁は「コストと社内セキュリティの折り合い」だ。クラウドのAIサービスは便利だが、顧客情報を外部サーバーに流すことへの抵抗感は根強い。経営陣への稟議でも、情報システム部門との調整でも、この点は必ず引っかかる。
そこにきて「スマホ上でローカル動作するAIエージェント」という話を聞くと、単純に「おっ」と思う。端末の外にデータが出ない。それだけで稟議の通りやすさが変わる可能性がある。
営業現場で何ができそうか、少し想像してみた
私の部下25人は、毎日外回りでスマホを使っている。商談メモの入力、社内システムへの報告、在庫確認の問い合わせ。これらを音声でAIに指示して、ツール呼び出しで自動処理できたら──という絵は、以前から描いていた。
ただ現実的には、クラウドAI前提のソリューションは「インターネット接続が不安定な工場内や地方の顧客先でどうするのか」という問題が残る。オンデバイスで動くならその問題が消える。
一方で、今回のNeedleについては一つ気になる点がある。GoogleはGeminiからの蒸留行為を利用規約で禁止している。Cactus Compute側はそれを公言しているわけで、ライセンスまわりのリスクは無視できない。MIT Licenseで公開されていても、開発元がGoogleから何らかのアクションを受けた場合、ビジネス用途での利用がどうなるかは不透明だ。
ベンダー選定の責任者として、ここは慎重に見るべきポイントだと思う。技術的に面白くても、法的グレーゾーンに足を踏み入れたままのツールを社内展開するのは難しい。稟議書に「利用規約リスクあり」と書かれたら、それだけで止まる。
ただ、この動きが示すトレンド自体は本物だと思う。AIの処理をクラウドに依存せず、手元のデバイスで完結させる方向性は、セキュリティ要件の厳しい製造業や金融業にとってむしろ追い風になりうる。
今すぐNeedleを社内展開しようとは思わない。ただ、「オンデバイスAIエージェント」というカテゴリのベンダー動向は、これからきちんとウォッチしておくつもりだ。来月のベンダーミーティングで、この方向性の製品ロードマップを持っているかどうか、各社に確認してみようと思っている。あなたの会社では、フィールド担当者のスマホAI活用をどう考えているだろうか？