IBMの多言語AIが「小さいのに強い」で話題になってる件

Xのタイムラインをスクロールしてたら、IBMのGranite Embeddingって埋め込みモデルの話題が流れてきた。
海外のAIクラスタでちょこちょこ見かけてたやつ。
ちゃんと読んでみたら、これけっこう面白かった。

簡単に言うと、「小さいモデルなのに多言語でめちゃくちゃ使える」って話。
97Mパラメータっていうコンパクトなサイズで、多言語検索のベンチマーク（MTEB Multilingual Retrieval）でスコア60.3を出してる。
このサイズ帯のオープンモデルの中ではトップらしい。

「小さい＆速い＆多言語対応」が同時に成立してる

これまで多言語対応のモデルって、どうしてもサイズが大きくなりがちだった。
速さを取るか、精度を取るか、みたいなトレードオフがずっとあったわけで。
そこにこのモデルが「97Mでもちゃんとやれます」って出てきた感じ。

しかも対応言語が200以上で、日本語・中国語・アラビア語・ヒンディー語など52言語は特にチューニングされてる。
日本語もちゃんと入ってるのが地味にうれしい。
さらにコンテキスト長が32,768トークン対応で、前バージョン（R1）の64倍になってる。
これ、長い文書をそのまま検索にかけられるってことで、RAGとか組み合わせて使う人には刺さる数字だと思う。

「ライセンスがApache 2.0」ってのが地味に大事

このモデル、Apache 2.0ライセンスで公開されてる。
商用利用もOKで、改変もできる。
APIコストを気にしながらOpenAIの埋め込みモデルを使ってた人には、選択肢が増えるって感じ。

自分はYouTubeの字幕データとか、海外フォロワーからのコメントをまとめる用途で埋め込みモデルを試したりしてる。
多言語対応でこのサイズなら、ローカルで動かすのも全然現実的だと思った。
ONNXのウェイトも配布されてるって書いてあったから、CPUでも動かせる。

あと面白いのが、Python・Java・JavaScriptなど9つのプログラミング言語のコード検索にも対応してるところ。
コード検索って需要があるのかなってちょっと懐疑的だったけど、国際的な開発チームが使う場面を想定してるらしい。
なるほどな、って思った。

LangChainやLlamaIndex、Haystackとかに組み込む場合も、モデル名を1行変えるだけで使えるって書いてある。
試すコストが低いのはありがたい。

フォロワーのみなさんはどう感じる？
OpenAIの埋め込みAPIからオープンモデルに切り替えるって選択肢、今の自分には現実的に見えてきてる。
来週、実際にローカルで動かして検索精度を試してみるつもり。
まずHugging Faceでモデルカードを確認してみてほしい。