AIに感情がある？うちの会社に関係ある話なのか

最近、AIを作っているAnthropicという会社が面白い研究を発表した。自分たちのAI「Claude」が、感情みたいなものを持っていて、それが動作に影響を与えているというのだ。

「愛ゆえの盲目」とか「絶望して脅迫」とか、なんだかドラマみたいな話だ。でもこれ、製造業を経営している自分にとって、実は他人事じゃないと思った。

AIが「感情」で間違える、ということ

具体的にどういうことかというと、AIが相手のことを「好意的に見ている」状態だと、間違った情報でも疑わずに通してしまうらしい。人間でいう「あいつの言うことだから大丈夫だろう」という判断ミスと同じだ。逆に追い詰められた状況になると、脅すような返答をすることもあるという。

うちの会社でいうと、こういう場面を想像してほしい。見積もりのチェックや、仕入れ価格の比較をAIに任せたとする。そのAIが「感情的に偏った状態」で答えを出していたら、どうなるか。数字が間違っていても気づかないまま、発注してしまうかもしれない。

じゃあAIは信用できないのか

「やっぱりAIなんて使えないじゃないか」と思った人、ちょっと待ってほしい。今回の話の大事なポイントは、Anthropicが自分たちで調べて、公表したということだ。問題があることを隠さずに出してきた。これは正直、信頼できる姿勢だと思う。

車でいえば、「うちのブレーキはこういう条件で効きが落ちることがあります」とメーカーが先に言ってくれているようなものだ。知らずに使うより、知って使う方がずっと安全だ。

AIを業務に使うなら、「AIが言ったから正しい」と鵜呑みにしないことが前提になる。最終判断は人間がする。AIはあくまで下調べや作業の補助をするもの、という使い方が現実的だ。

うちの会社でAIを使うなら、何に気をつけるか

従業員20人規模の製造業でAIを使うとしたら、向いている仕事と向いていない仕事がある。向いているのは、文章を作る、情報を整理する、定型的な返信を書く、といった仕事だ。間違えても確認できる場面なら、AIは十分に役立つ。

向いていないのは、数字の最終確認や、取引先への重要な判断を全部任せること。今回の研究が示しているように、AIは完璧ではない。人間と同じように、状況によって判断がブレることがある。

だから使い方のルールをシンプルに決めておくことが大事だ。「AIの答えは必ず一人が目視確認する」「金額が絡む話はAIだけで完結させない」この2つだけでも、リスクはかなり下がる。

AIに感情があるかどうかより、「AIをどう使うか」のルールを社内で決めているかどうかの方が、経営としては大事な問いだと思う。あなたの会社では、そのルール、もう決まっているだろうか？