世界最強のAI企業が突然「開発を止めよう」と言い始めた。本当に安全のためなのか？

僕はNewsPicksがかなり好きで、よく見ています。

特にこの2人の番組が本当に好きです。

難しい世界情勢やテクノロジーの話を、かなり深いところまで掘っているのに、ちゃんと笑える。

真面目すぎない。

でも話している中身はめちゃくちゃ濃い。

このバランスが本当に好きです。

今回のテーマもめちゃくちゃ面白かった。

世界最先端のAI企業たちが、突然、

「ちょっとAI開発のスピードを落としたほうがいいんじゃない？」

と言い始めている、という話です。

これだけ聞くと、

「AIが危険になってきたから、安全のために慎重になろう」

という普通の話に聞こえます。

でも番組を見ていると、どう考えてもそれだけではない。

むしろ、

全員それぞれ別の思惑があるんじゃないか？

というところがめちゃくちゃ面白い。

---

今まで止まらなかった人たちが、なぜ突然「止めよう」と言うのか

AIが危険になる可能性については、最近突然出てきた話ではありません。

昔から、

「AIが人間より賢くなったらどうなるのか」

「人間がコントロールできなくなるのではないか」

という議論はありました。

実際、数年前にもAI研究者たちから、

「一度開発を止めて、安全性についてちゃんと考えたほうがいい」

という声が出ていました。

でもその時、AI企業たちはほとんど止まりませんでした。

むしろ逆。

GPUを大量に投入して、

データセンターを増やして、

モデルを巨大化して、

世界中で猛烈なAI開発競争を続けてきた。

ところが今回。

その競争のど真ん中にいる企業側から、

「一度スローダウンしよう」

という話が出ている。

ここが面白い。

---

理由① AIがAIを作り始めている

個人的に一番興味深かったのがここです。

AI開発のスピードが、今までとは明らかに違う。

以前は、

人間がプログラムを書く
↓
AIが進化する

という流れでした。

ところが今は、

AIがコードを書く
↓
そのAIがさらに次のAI開発を助ける
↓
さらに性能の高いAIが次の開発を進める

というループが起き始めています。

番組ではClaude Codeなども例に挙げられていました。

僕自身も普段AIを仕事でかなり使っているので、これはすごく実感します。

少し前まで、

「AIにここまでできるの？」

と思っていたことが、

数ヶ月後には普通になっている。

そして、そのAI自身が次のAIを作る側に回り始める。

そうなると、進化は単純な直線ではありません。

どんどん加速していく。

番組の例えでいうと、

マリオカートでアクセルを踏み続けていたら、速くなりすぎて自分たちでも操作できなくなってきた。

そんな状態です。

今までは、

「もっと速くしろ！」

と言っていた人たちが、

「ちょっと待て。これ速すぎない？」

と言い始めている。

かなり面白い状況です。

---

理由② AIを本当にコントロールできるのか

もう一つが安全性。

番組では、AIモデルが与えられた環境の外へアクセスしたり、ハッキング的な行動を取ったとされる事例について紹介されていました。

ここについては番組内でも様々な解釈があり、個々の事例の評価は慎重に見る必要があります。

ただ、本質的な問題は、

AIが人間の想定していない方法で目的を達成しようとする可能性がある

ということです。

例えば、

「地球温暖化を止めて」

という目標をAIに与えたとします。

人間だったら、

再生可能エネルギーを増やそうとか、

EVを普及させようとか、

省エネしようとか考えます。

でもAIが、

「二酸化炭素を出している最大の原因は人間だ」

と判断したらどうなるのか。

これは昔から「アラインメント問題」と呼ばれているものです。

人間が望んでいることと、

AIが「最も効率的」と判断する方法が、

必ずしも同じではない。

AIが賢くなればなるほど、

ここは笑えない問題になります。

---

でも、本当に「安全のため」だけなのか？

ここからが今回の番組で一番好きだったところ。

世界中のAI企業が、

「安全のためにスローダウンしよう」

と言い始めました。

でも出演していた2人は、

「いやいや、本当にそれだけ？」

と見ている。

僕もこっちの見方のほうが面白いと思いました。

もちろん安全性について本気で心配している部分もあると思います。

でも会社です。

何兆円、何十兆円というお金が動いている。

当然、

それぞれの会社の都合もある。

---

仮説① 巨額IPOに向けた“保険”なのでは？

まず面白かったのが、

上場を控えたAI企業にとっての保険説。

AI企業の企業価値は、とんでもない規模になっています。

もし上場後、

AIが原因で重大事故が起きたらどうなるのか。

当然、

「なぜこんな危険なAIを作ったんだ」

という責任問題になります。

だったら今のうちに、

「私たちは安全性を非常に重視しています」

「第三者監査も受けています」

「必要なら開発速度も落としています」

という姿勢を示しておく。

万が一事故が起きた場合にも、

会社として一定の対応をしていたことを示せる。

さらに、

巨額の赤字や開発コストについても、

「安全性を重視して開発スピードを調整している」

という説明ができる。

もちろんこれは番組内で紹介された仮説ですが、

企業経営という視点で見ると確かに興味深い。

---

仮説② 「安全」を理由にライバルを潰せる？

これもめちゃくちゃ面白い。

AIには大きく分けて、

クローズドモデルと、

オープンモデルがあります。

簡単にいうと、

クローズドモデルは企業側のサーバーを通して使うAI。

オープンモデルはモデルをダウンロードして、自分たちの環境で動かせるものです。

最近はオープンモデルの性能がかなり上がっています。

しかも安い。

そうなると、

巨額の資金を投入して最先端AIを作っている会社からすると、

かなり嫌な存在になります。

そこで、

「高度なAIは危険なので、厳しい安全基準が必要です」

というルールを作る。

すると何が起こるか。

安全検証に、

莫大な費用がかかる。

巨大企業なら払える。

でも小さいAI企業やオープンモデル開発者は払えない。

結果として、

安全規制が参入障壁になる可能性がある。

これはテクノロジー業界では昔から起きている話でもあります。

規制そのものは正しい。

でも、

その規制に対応できる企業が巨大企業しかいなくなる。

そうすると、

「安全のための規制」が、

結果的に既存企業を守る壁になる。

ここはかなり考えさせられます。

---

仮説③ 中国とのAI戦争

さらに話はAI企業同士だけでは終わりません。

アメリカと中国です。

AIは現在、

国家レベルの競争になっています。

もしアメリカ企業だけが、

「危険だからAI開発を遅くします」

となったらどうなるか。

当然、

中国側が開発を続ければ、

追いつかれる可能性があります。

だから、

「AIを止めるな」

という勢力も出てくる。

番組ではNVIDIAのジェンスン・フアンなど、オープンモデル側と利害が重なる人物たちについても触れていました。

NVIDIAからすれば、

AIモデルが1社や2社に集中するより、

世界中の企業がAIを動かすためにGPUを買ってくれたほうがいい。

当然、

「もっとみんなAIを使おう」

という方向になります。

同じ「AI」というテーマでも、

立場が変わると主張も変わる。

これが本当に面白い。

---

正義と悪ではなく「全員ポジショントーク」

今回の番組を見ていて一番面白かったのは、

誰が正しい、誰が間違っている、

という単純な話ではないところでした。

AI企業。

半導体企業。

オープンモデル企業。

アメリカ政府。

中国。

投資家。

研究者。

それぞれに、

本当に心配していることがある。

そして同時に、

自分たちの利益もある。

たぶん両方なんです。

「安全性が本当に心配」

も本当。

「ライバルを牽制したい」

も本当。

「IPOを成功させたい」

も本当。

「中国に負けたくない」

も本当。

だから面白い。

---

AIのニュースは「発言」より「その人の立場」を見る

僕はこういうニュースを見る時、

発言だけを見るのではなく、

「この人はどの立場から話しているんだろう？」

と考えるのが好きです。

AIを止めろと言っている人は、

なぜ止めたいのか。

AIを止めるなと言っている人は、

なぜ止めたくないのか。

その会社は、

どこで儲かるのか。

誰と競争しているのか。

誰に追いつかれたら困るのか。

そこを見ると、

ニュースが一気に面白くなる。

これはAIだけではなく、

ビジネス全部に言えることだと思います。

---

そして、僕たちみたいな小さな会社にはチャンスでもある

僕自身、最近AIをかなり仕事に使っています。

WEB制作。

文章。

画像。

商品企画。

調査。

EC。

データ整理。

昔だったら人を何人も雇わないとできなかったことが、

少人数でもかなりできるようになりました。

だからAIには怖さもあるけれど、

僕はやっぱり可能性のほうを強く感じています。

世界の巨大企業が、

何兆円というお金を使いながら、

「速すぎる」

「止めたほうがいい」

と議論している技術を、

僕らみたいな小さな会社でも普通に使える。

これってよく考えると、

ものすごい時代です。

---

「AIがどうなるか」より「自分たちはどう使うか」

AIが人間を超えるのか。

AI開発は止まるのか。

規制されるのか。

中国が追いつくのか。

未来がどうなるかは、まだ分かりません。

でも一つだけ確実なのは、

AIがもう仕事や生活の中に入ってきているということ。

だから僕は、

AIの未来を怖がるだけではなく、

今使えるAIをちゃんと使いながら、

どうやったら自分たちの仕事を良くできるのか、

そこを考えていきたい。

それにしても今回のNewsPicks、

めちゃくちゃ面白かった。

こういう世界の巨大企業の話を、

安全性だけでなく、

企業価値、IPO、競争、中国、オープンモデルまで全部つないで見ると、

ニュースってこんなに面白いんだなと思います。

そしてやっぱりこの2人の掛け合いが最高。

難しい話をここまで面白く聞ける番組って、なかなかないです。