ソニーとTSMCの提携から考える、センサー時代のソフト設計

ソニーセミコンダクタソリューションズとTSMCが、次世代イメージセンサーの開発・製造に向けた合弁会社設立の基本合意を発表した。拠点は熊本。ターゲットは車載やロボティクスなどのフィジカルAI分野だ。

これを読んで最初に思ったのは、「またハードの話か」じゃなくて、「これ、自分たちが書くソフトの前提がまた変わるな」だった。

センサーが賢くなると、自分のコードの役割が変わる

車載やロボティクス向けのイメージセンサーって、今まではカメラがrawデータを吐いて、それをソフト側でごりごり処理するモデルが主流だった。でもソニーの設計思想とTSMCのプロセス技術を組み合わせると、センサー側でかなりの前処理が走るようになる。

つまりソフト側に渡ってくるデータの「形」が変わる。今まで「カメラ映像を受け取って物体検出して」というパイプラインを設計していたなら、その入力の前提から見直しが必要になる場面が出てくる。

個人開発でOpenCVとか使って画像処理のコード書いたことある人なら感覚わかると思う。センサー側で輪郭抽出やノイズ除去が済んでいたら、自分のコードの最初のステップがまるっと要らなくなる。それ自体はいいことだけど、パイプラインの設計ごと捨てることになる。

フィジカルAI向けのSDKやAPIはこれから変わる

今回の合弁会社が狙うのはロボティクスや車載の「フィジカルAI」領域だ。ここ最近、ROS2とかNVIDIA Isaacとか触っている人は特に気にしておいてほしい。

センサーのアーキテクチャが変わると、ドライバやSDKのインターフェースも変わる。具体的には、今まで `/dev/video0` みたいなV4L2経由でべたに取っていたストリームが、構造化されたデータとして上がってくるAPIに移行していくかもしれない。

そうなったとき、自分のコードのどこが壊れるか。ここを今のうちに考えておくと、次にライブラリ選定するときの判断軸になる。「このライブラリ、センサー抽象化のレイヤーちゃんとあるか？」という問いが普通に重要になってくる。

もう一個気になるのがLLMとの組み合わせだ。フィジカルAIってつまりロボットが現実世界を認識して動く話で、その入力はほぼセンサーデータだ。LLMに視覚情報を食わせてアクションを生成するアーキテクチャは、センサー側の出力フォーマットに強く依存する。今触っているvision系のAPIがどこまで汎用なのか、一度確認しておく価値はある。

ソニーがテレビ製造から事実上撤退した事実も見ておく

同じ発表の中で、ソニーはホームAV事業を中国のTCL Electronics Holdingsとの合弁会社「BRAVIA事業会社」に承継すると発表している。出資比率はTCL51%、ソニー49%。テレビの自社製造からは実質退くことになる。

これは経営の話じゃなくて、「どこに技術リソースを集中させるか」の話として読める。センサーとフィジカルAIに全振りするという意思表示だ。コンシューマ向けの薄利事業より、車載・ロボティクス向けのB2Bセンサーの方が伸びしろがあると判断している。

自分たちのコードが動く基盤、つまりセンサーやエッジデバイスのエコシステムが、今後数年でかなり組み変わる。それを作っている会社がどこに向かっているかを追うのは、フレームワーク選定と同じくらい実務に効いてくると思う。

自分は来週、いま個人開発で使っているカメラ入力まわりの抽象化レイヤーを見直してみるつもりだ。センサー側の変化に引きずられないように、インターフェースだけ切り出してモジュール化できるか確認したい。