カレン・ハオはMITで機械工学を学び、シリコンバレーのスタートアップで働いたのち、記者になった。2018年からMITテクノロジーレビューでAIを専門に取材し、2019年にはOpenAIのオフィスに3日間入り込んで同社を取材している。その記事が経営陣を怒らせ、以後3年間、彼女は取材を拒否され続けた。
それでも彼女は250人・300回を超えるインタビューを重ね、うち90人以上がOpenAIの現職または元職の社員・経営陣だった。そうして書かれたのが『Empire of AI』——AI企業を「帝国」として読み解く本である。
この対談は、その帝国の中身を、創業の裏側から、テキサスの砂漠に建つ巨大施設と、その隣で暮らす人々の呼吸にまで降りていって語ったものだ。
ハオがジャーナリズムに辿り着いた道は、まっすぐではない。彼女はMITで機械工学を学び、卒業後にサンフランシスコへ移ってテック系スタートアップに加わった。気候変動と戦うための技術をつくる、志の高い会社だった。ところが入社から数か月後、取締役会がCEOを解任した。会社が利益を出していなかったからである。
あとから振り返れば、それが彼女にとっての転回点だった。彼女はこう考えた。この土地——シリコンバレー——が最終的に向いているのが「儲かる技術をつくること」なのだとしたら、そして自分が解決されるべきだと思っている世界の問題の多くが、気候変動のように儲からない問題なのだとしたら、私たちはここで一体何をしているのだろう。どうして技術革新が、公共の利益のために働くとは限らず、ときには利益の追求のために公共の利益を掘り崩すところまで来てしまったのだろう。
その瞬間、彼女は小さな危機に陥った。この道に進むために4年を費やしたのに、自分はこの道に向いていないと思ってしまった。だったらまったく別のことをやってみればいい。もともと書くことは好きだった。そうして2年後、MITテクノロジーレビューでAIを専門に取材する職に就く。2018年のことだ。ChatGPTが世界を揺らす、ずっと前である。
その職が、彼女に問いを追いかける場所を与えた。どの技術をつくるかを、誰が決めているのか。金とイデオロギーは、その決定をどう動かしているのか。そして、世界中の幅広い人々のために働く技術革新の生態系を、どうすれば作り直せるのか。本を書くつもりで始めたわけではなかった。だが2018年のその日から、彼女は結果的にこの本のための取材を始めていた。
取材は250人を超え、インタビュー回数は300回を超えた。うち90人以上がOpenAIの現職または元職の社員・経営陣である。だが彼女は「企業本」を書きたくはなかった。AI産業の影響を人々に理解してもらうには、シリコンバレーのはるか外まで旅をしなければならない、という確信が彼女には強くあった。
「どこから始めるべきか」と聞かれて、彼女は1956年に遡った。この年、ダートマス大学に科学者たちが集まり、ひとつの野心を追いかけるための新しい学問分野を立ち上げた。その分野に「人工知能(artificial intelligence)」という名前をつけたのは、ダートマスの助教授ジョン・マッカーシーである。
だが、これは彼が試した最初の名前ではなかった。前の年、彼は「オートマタ研究(Automata Studies)」と名づけようとしていた。同僚の何人かが「人工知能」という名前を懸念したのは、その名前がこの分野を「人間の知能を再現すること」に縛りつけてしまうからだった。
その懸念は、70年経ったいまも生きている。ハオが繰り返し立ち止まるのは、この一点だ。人間の知能とは何かについて、科学的な合意は存在しない。心理学にも、生物学にも、神経学にも、その定義はない。そればかりか——
つまりこの分野には、最初からゴールポストが立っていない。そして企業が「人間と同じくらい賢いAIシステムを再現しようとしている」と言うとき、その産業にもゴールポストは存在しない。そもそも「それ」が何を意味するのかを、我々はどう定義するのか。到達点を定義できないのに、いつ到達したと言えるのか。
▲ 目次へ戻る定義がないということは、実務上どういう意味を持つか。ハオの答えは容赦がない。企業は「AGI(汎用人工知能)」という言葉を、好きなように使え、都合に合わせて何度でも定義し直せる。実際、OpenAIはその歴史の中で何度もそれをやってきた。彼女が挙げた四つの用例を並べると、それがひとつの技術の話に見えなくなる。
議会と話すときのAGIは、癌を治し、気候変動を解決し、貧困をなくすシステムである。
製品を売りたい消費者と話すときのAGIは、これまでで最高のデジタル・アシスタントである。
マイクロソフトと契約を結んだときのAGIは、契約書上、1000億ドルの収益を生み出すシステムと定義された。
OpenAI自身のウェブサイトでは、AGIは「経済的に価値のあるほとんどの仕事で人間を上回る、高度に自律的なシステム」である。
「これは一つの技術についての、首尾一貫したビジョンではありません」とハオは笑う。これらはまったく異なる定義であり、そのつど「動かしたい相手」に向けて発話されている——規制をかわすために動員すべき相手、消費者としての賛同を得たい相手、この旅を続けるための資本と資源を出させたい相手。曖昧な定義は、欠陥ではなく機能なのだ。
▲ 目次へ戻る司会のバートレットが一つの引用を持ち出す。OpenAIが正式に発表される前の2015年、サム・アルトマンが自身のブログに書いた文章だ。
ハオはここで、読み方をひっくり返す。アルトマンが公に向けて書くとき、その聴衆は「公」だけではない。この特定の瞬間、彼が動かそうとしていた相手は一人だった——イーロン・マスクである。
当時マスクは、AIが巨大な実存的脅威になると警告して回ることに時間のすべてを使っていた。MITでの有名な講演で、AIは最大の実存的脅威であり、AIを開発することは「悪魔を召喚するようなものだ」と語っていたのもこの時期だ。アルトマンのブログの言葉を、当時マスクが使っていた言葉と並べて置いてみると、マスクが言っていたことをそのまま鏡写しにしていることが分かる、とハオは言う。
括弧の中の一節——「他にもっと起こりそうな脅威がある。たとえば人工ウイルスだ」——にも意味がある。それまでアルトマンが語っていた中心的な恐怖は、まさに人工ウイルスの方だった。いま一人の聴衆に向けて軸足を移すにあたり、彼は「以前の自分の主張」と「今から掲げる新しい中心的恐怖」の矛盾を、その場で処理してみせているのである。「前はこう言ったけれど、いまはこちらだと思う」と。
マスクは結局、多額の資金を出してOpenAIを共同創業する。そして後に去る。現在アルトマンとの間で続いている訴訟で開示された文書からは、マスクがある程度、力ずくで押し出された側面が見えてきた、とハオは言う。マスクの側から見れば、自分は操作されたのだ——アルトマンは、自分をパートナーとして信頼させるために言葉を設計していた。それが、彼が抱えている非常に強い個人的な遺恨の正体である。
▲ 目次へ戻る訴訟で出てきた文書と、ハオ自身の取材が交差する場面がある。OpenAIは当初、非営利団体として設立された。それを維持するかどうかを議論した末、営利法人を作る必要があるという結論に至る。問題は、その営利法人のCEOを誰にするかだった。候補はマスクとアルトマン——非営利団体の共同会長の二人である。
メールから分かるのは、当時のチーフサイエンティストであるイリヤ・サツケバーと、CTOのグレッグ・ブロックマンが、最初はマスクをCEOに選んだということだ。だがハオの取材によれば、そこからアルトマンが個人的にブロックマンに訴えかけた。シリコンバレーで長年の知己だった友人に、彼はこう言った——
ブロックマンは説得され、ブロックマンがサツケバーを説得した。二人は忠誠先を切り替え、「やはりアルトマンをCEOにしたい」と言った。そしてマスクは「自分がCEOでないなら降りる」と言って去った。
「つまりまた、サムが誰かを説得して何かをさせることに成功した、ということですね」とバートレットが言う。ハオは頷いた。
▲ 目次へ戻る「あなたはサム・アルトマンをどう思いますか」と聞かれ、ハオは一拍おいた。バートレットはその間を見逃さない。「いまのは、言葉を選ぼうとする人の間ですね」。
彼女が興味深いと言うのは、こういうことだ。300回のインタビューを通じて、アルトマンについて人々は極端に二極化している。中間の感情を持っている人が一人もいない。この世代最高のテックリーダー、現代のスティーブ・ジョブズだと思っているか、ひどく操作的で、加害的で、嘘つきだと思っているかのどちらかである。
あまりに多くの人に会ったからこそ見えたのは、その分かれ目が「その人が思い描く未来と、その人の目的」にあるということだった。アルトマンの未来像と自分の未来像が一致していれば、彼は味方につけられる最高の資産になる。この男は本当に説得力がある。物語を語るのが天才的にうまい。資本を動員し、人材を集め、その未来を実現するために必要なあらゆる入力を引っぱってくることができる。
だが未来像が一致しない場合、自分が根本的に賛同していないビジョンを支えるために、彼に操作されているという感覚が芽生え始める。これがとりわけダリオ・アモデイの物語だ、とハオは言う。現在Claudeを作るAnthropicを率いる彼は、かつてOpenAIの幹部だった。当時の彼はアルトマンと同じページにいると思っていた。だが時間が経つにつれ、アルトマンは実は正反対のページにいて、自分の知性と能力と技術が、自分が根本的に賛同していない未来をつくるために使われていたのだと感じるようになった。
ハオは8年以上テック業界を取材し、メタ、グーグル、マイクロソフトも見てきた。これほどの二極化が起きる人物はアルトマンだけだという。最高なのか最悪なのか、人々が決められない相手は他にいない。
彼もまた、時間とともに「自分が信じていないものに貢献させられている」と感じるようになった一人だった。彼が深く気にかけていた柱は二本ある。いわゆるAGIに到達すること。そして、安全にそこへ到達すること。そしてアルトマンは、その両方を積極的に掘り崩していると彼は感じた。社内に極めて混沌とした環境をつくり、チーム同士を対立させ、相手によって違うことを言っている、と。
ハオは2019年、MITテクノロジーレビューのOpenAI特集のためにサツケバー本人を取材している。そのときの彼の言葉が残っている。
ここでハオは、一歩下がって「そもそも知能とは何を指しているのか」を見ようと言う。人によって発言が違うのは、「何が知能を構成するのか」についての各人の信念が違うからだ。
サツケバーは研究者人生を通じて、私たちの脳は巨大な統計モデルであると考えてきた。これは我々が実際に知っていることではない。彼の仮説であり、彼の師であるジェフリー・ヒントンの仮説でもある。だからこそ彼らは、統計モデルとしてのAIを作り、その道筋が「我々が知的であるのと同じ意味で知的なシステム」に至ると、あれほど強く確信できるのである。
サツケバーはあるとき、AI研究の最も有名な会議のひとつ(Neural Information Processing Systems)で基調講演をした。彼はそこで脳の大きさと種の知能を並べたグラフを示した。ほぼ直線である。脳が大きいほど、その種は知的だ。だから彼にとって、自分がやっているのはデジタルの脳を作ることなのだ。脳がただの統計エンジンなら、人間の脳より大きな統計エンジンを作れば、そのグラフに従ってそれはより知的になる。そして我々は、我々が動物にしてきたのと同じ扱いを受ける側に回る。
だが、とハオは念を押す。これらはAI研究コミュニティ内の特定個人の科学的仮説であって、証明された科学ではない。激しく反対する人は大勢いる。最も強い批判は、脳を単なる統計エンジンとみなすのはあまりに還元的だというものである。
バートレットがそう問う。動画を作ってくれるなら、エージェントが自分の仕事をしてくれるなら、中身の機構を知る必要があるのか、と。ハオの答えは「イエスでもあり、ノーでもある」だった。
重要である理由はこうだ。これらの企業は、この仮説に基づいて未来の行動を決めている。「この仮説は正しいと思う、だからAGIを追い求めてひたすら大きな統計モデルを作り続けるべきだ」と決めた。そしてそれが世界規模の帰結を生む。それを続けるために、より多くのデータを吸い上げ、より多くのデータセンターを建て、より多くの労働を搾取する必要が出てくるからだ。
そして彼女は、この対談で最も重い問いのひとつを置く。
創薬を加速させ、人々の医療の結果を改善するようなAIシステムなら作れる。それらは、人間の脳を複製しようとする統計エンジンとは何の関係もない——それが彼女の論点である。
▲ 目次へ戻るでは、なぜ彼らはそれをやるのか。「彼らが帝国的な行動原理に駆動されているからです。だから私はこれらの企業を『AIの帝国』と呼ぶのです」。
帝国という比喩は、彼女がこれまで見つけた中で、これらの企業がやることのすべての次元と、動く規模と、動機を、まるごと包める唯一の比喩だという。かつての帝国との共通点は、大きく四つある。
モデルを訓練するために、彼らは他人の資源に手を伸ばす。個人のデータ、アーティスト・作家・クリエイターの知的財産。そして次世代モデルを訓練するスーパーコンピュータ施設を建てるための土地の収奪。
米国を含む世界中で、数十万人規模の労働者を契約で使い、この技術を成立させている。そして道具そのものを労働を自動化するように設計するため、配備された時点で労働者の権利をさらに侵食していく。ハオはこれを技術的な必然ではなく政治的な選択だと呼ぶ。
この技術を本当に理解しているのは自分たちだけだ、という像を投影する。だから公衆が気に入らないのは、この技術を十分に知らないからだ、と。同じことを政策立案者に対してもやる。そしてAIの限界と能力を研究している科学者の大多数を、自分たちで抱え込んでいる。
帝国は常に公衆に向けてこう語る。我々は善い帝国である。そもそも我々が帝国でなければならないのは、世界に悪い帝国もいるからだ。資源のすべてと労働のすべてを使わせてくれれば、我々は全員に進歩と近代をもたらすと約束する。我々に任せればAIの天国のような理想郷に到達できるが、悪の帝国が先にやれば我々は地獄に落ちる。
その「悪の帝国」は、いま最もよく中国である。だが初期のOpenAIが引き合いに出していたのはグーグルだった。利益に駆られた邪悪な企業グーグルに対して、慈悲深い非営利団体である我々——だからこそ、どちらが勝つかは決定的な争いなのだ、という構図である。
▲ 目次へ戻る三番目の「知識の生産の独占」には、柔らかい形と、あからさまな形がある。
柔らかい形は資金だ。産業がAI研究者の大半を雇い、資金を出しているため、金を流す先を選ぶだけで研究アジェンダが決まる。ある種類のAI研究しか生産されなくなる。
あからさまな形が、検閲である。ハオは著書でティムニット・ゲブル博士の事例を扱っている。彼女はグーグルの倫理的AIチームの共同リーダーであり、グーグルが作っているAIシステムを批判するために雇われた人物だった。彼女は大規模言語モデルが特定の種類の有害な帰結を生むことを示す批判的な論文を共著した。その研究の公表を止めようとした末、グーグルはゲブルを解雇し、続いてもう一人の共同リーダーであるマーガレット・ミッチェルも解雇した。帝国のアジェンダにとって不都合な研究は、統制され、握りつぶされる。
それはジャーナリストや市民団体にも及ぶ。OpenAIは自社の批判者の一部に召喚状(subpoena)を送り始めた。威圧のキャンペーンに見えると同時に、批判者のネットワークをさらに詳細に地図化するための情報収集にも見える、とハオは言う。
ドアをノックされたのは、小さな監視系の非営利団体を運営する男性だった。当時、彼らはOpenAIが非営利から営利へ転換しようとしていることについて、多くの問いを投げていた。転換は最終的に成功したが、その完遂がOpenAIにとって死活問題だった期間、多くの市民社会団体や監視団体が、そのプロセスが人知れず進むのを防ごうとしていた。透明性を求め、前例のないことなのだから公の議論をすべきだと言っていた。
そのときに、ノックがあった。書類は、マスクが関わっている可能性のあるすべての通信を再提出せよと求めていた。マスクがこの人たちに資金を出して転換を妨害しているのではないか、という奇妙な猜疑心である。実際には、誰一人マスクから資金を受けていなかった。この件について彼は、「そんな文書は存在しないので、持っていません」と答えただけだった。
▲ 目次へ戻るハオとOpenAIの関係史そのものが、ひとつの証言になっている。
2019年、彼女はMITテクノロジーレビューの特集のために3日間オフィスに入り込んで取材した。記事は2020年に出た。経営陣は非常に不満だった。彼女は著書の中で、アルトマンが社内に送ったメールを引用している——「これは良くない」。以後、同社の姿勢は明確だった。あなたのやることには一切協力しない、あなたの質問には一切答えない。推測ではなく、彼らが明言したことである。
MITテクノロジーレビューの同僚の一人にAIを担当する記者がいた。あるときOpenAIがその同僚にプレスリリースを送ってきた。「ぜひ取り上げてほしい」と。彼は「いま忙しいのでカレンに送ってくれますか」と返した。返ってきたのは「ああ、いや。我々には経緯があってね。分かるだろう」だった。
3年間、扉は閉じたままだった。彼女がウォール・ストリート・ジャーナルに移ると、相手はさすがに回線を開き直さざるを得なくなり、関係は改善した。そして彼女はWSJを離れ、本の執筆に専念する。当初OpenAIは協力すると答えていた。取材を設定する、オフィスにも来ていい、と。
ところがそのやり取りの最中に、取締役会がアルトマンを解任した。そこから風向きが変わる。会社は精査に極端に神経質になり、日程は先送りされ続けた。やがてメールが来る。一切協力しない。オフィスにも来るな。インタビューもしない。彼女はすでに航空券を取っていた。
それでも彼女は「では取材過程で分かったことを大量にお伝えするので、コメントするかどうか選んでください」と伝え、40ページ分のコメント要求を送り、1か月以上の猶予を与えた。ただの一つにも返答はなかった。
その最中に、アルトマンのツイートが出る。「OpenAIと私についての本が何冊か出る。我々が協力したのは二冊だけだ」——キーチ・ヘイギーの本と、アシュリー・ヴァンスの本。「どの本もすべてを正しくは書けない。特に、物事をねじ曲げようと躍起になっている人がいる場合には。だがこの二人の著者は誠実にやろうとしている」。ハオはそれを引用リツイートして書いた。「名前の出ていない本『Empire of AI』は、私のです。」
アルトマンは膨大な数のインタビューに出ている。タッカー・カールソン、シオ、ジョー・ローガン、世界中のポッドキャスト。「なぜ私のには出ないんでしょうね」とバートレットが笑う。「風の噂で、彼は私のには出たくないらしいと聞きました」。
ハオが指摘するのは、これが個別の好き嫌いの話ではないということだ。問題は「あなたが誰と話すか」だけでなく「あなたが誰に舞台を与えるか」でもある。テクノロジー・ジャーナリズムには巨大な構造問題がある。企業は、記者に差し出せる最大の人参がアクセスであることを知っている。そして、自分たちが話してほしくない相手と記者が話していると察知した瞬間、そのアクセスを引っ込める。
バートレット自身が、実例を持っている。ある著名なAI関係者のチームが、18か月にわたって「出演」という人参をぶら下げ続けているという。「ぶら下げる必要はないんですよ。人参があろうとなかろうと、私は話したい人と話します。来たいなら来ればいい、フェアに扱います。私は誰かを罠にかけたことはない。意見が違っても、質問はする」。だが相手の戦略はこうだ——十分に長くぶら下げ続ければ、こちらが望むように振る舞ってくれるようになる。批判的にはならなくなる。
そしてハオは、意外な結論に着地する。
ハオの本には、あの解任劇の場面ごとの再現がある。取材源は、意思決定に直接関与した、あるいは直接関与した人物から話を聞いた6〜7人である。
始まりはイリヤ・サツケバーだった。アルトマンの振る舞いが研究の成果を悪化させ、社内の意思決定を歪めているという深刻な懸念を、彼はしばらく一人で抱え込んでいた。そして独立取締役のヘレン・トナーに面会を求める。
ここは重要な設計の話になる。非営利団体だったOpenAIの取締役会は、会社に金銭的な利害を持つ人と完全に独立した人に分かれていた。営利法人の利益ではなく公共の利益になるよう意思決定を釣り合わせるための構造である。サツケバーは利害を持つ側、トナーは独立側だった。
最初の面談で、サツケバーはほとんど何も言わなかった。ぐるぐると周りを回るだけで、要は「この人はもっと多くを打ち明けても大丈夫な相手だろうか」を測っていた。彼は怯えていた。これを誰かに話したことがアルトマンに知られたら、自分にとって非常にまずいことになる、と。
そこから一連の会話が始まる。まずサツケバーとトナー。次にミラ・ムラティ——当時のCTO——と取締役たち。この二人の上級幹部は、メールやSlackのメッセージなどの資料をまとめながら、三人の独立取締役に対してこう伝えた。アルトマンのリーダーシップを非常に懸念している。彼は会社に不安定さを持ち込みすぎており、彼こそが問題の根源である。チーム同士を対立させ、人々が互いを信頼できなくなる環境を作り、本来ならこの上なく重要な技術に対して協働するべきところで競争させている。彼を外さないかぎり、この問題は直らない、と。
バートレットがそこを突く。曖昧な言葉ではないか、と。ハオの説明は具体的だ。
ChatGPTが世に出たとき、OpenAIはまったく準備ができていなかった。彼らは大ヒット製品を出しているつもりがなかった。あれは研究プレビューであり、データのはずみ車を回すためのもの——ユーザーからデータを集め、それを踏まえて本命の大ヒット製品、すなわちGPT-4を使ったチャットボットを作る、という筋書きだった。ChatGPTが使っていたのはGPT-3.5である。
結果、サーバーは落ち続けた。インフラを史上どの企業よりも速く拡張しなければならなかった。障害が頻発した。人も史上どの企業よりも速く雇わねばならず、その結果「この採用は間違いだった」という人まで雇い、次々に解雇した。人がSlackから消えていて、それで同僚は退職を知る。急成長企業にありがちな混沌であり、そしてどの企業よりも加速せざるを得なかったぶん、混沌も特別だった。
その上で、ムラティとサツケバーはアルトマンが事態を悪化させていると感じていた。混乱を和らげるどころか、さらに混乱の種を蒔き、チームの分断を深めているように見えた。
ここで理解しておくべきなのは、幹部も独立取締役も全員、自分たちはAGIを作っており、AGIは人類にとって破滅的にも理想郷的にもなりうるという前提の下で動いていたということだ。だからこそ彼らの見方では、世界を作るか壊すかしうる技術の圧力鍋が、これほど混沌としていてよいはずがない。
独立取締役たちは、互いにこう話し合った。「アルトマンの振る舞いについて聞いていることを踏まえて——もしここがインスタカートだったら、これは解任に値するか?」。結論は「たぶん値しない。だがここはインスタカートではない」だった。
もう一つ、独立取締役の側に積み上がっていた材料がある。独立取締役の一人でQuoraのCEOであるアダム・ディアンジェロが、サンフランシスコのパーティで「OpenAIスタートアップ・ファンドの組成が何かおかしい」という噂を耳にした。同社が他のスタートアップに投資するために作ったファンドである。
言われてみれば、彼らはこのファンドがどう設立されたのかを示す文書をアルトマンから受け取ったことがなかった。ようやく文書を入手して分かったのは——OpenAIスタートアップ・ファンドは、OpenAIのファンドではなかった。アルトマンのファンドだった。
こうした経験がいくつも重なっていた。アルトマンが説明していることと、実際に行われていることの間に、不整合が繰り返し現れる。だから二人の幹部が独立取締役に接触してきたとき、彼らは「これは我々の経験とも符合する」と考えた。
そこからほぼ毎日会合が持たれた。本当にアルトマンの解任を検討すべきか。結論はイエスであり、やるならば速くやらねばならないだった。アルトマンが察知した瞬間、その説得力によって解任は不可能になる、と彼らは強く懸念していたからだ。
結果、彼らは誰にも告げずにアルトマンを解任した。関係者を事前に同じページに乗せることもしなかった。マイクロソフトへの電話は、実行の直前。「これからアルトマンを解任します」。当時ほぼ唯一の投資家である。
それがすべてを瓦解させた。この決定の影響を受けるあらゆる人物が、自分が関与させられなかったことに激怒した。そこからアルトマンを呼び戻すキャンペーンが生まれ、数日後、彼はCEOに復帰した。
そして——サツケバーは二度と戻らなかった。アルトマンに知られたら自分にとってまずいことになる、という彼の懸念は、そのまま現実になった。ムラティもほどなく去った。
OpenAIの起源のひとつは、シリコンバレーの中心にある高級ホテルローズウッドでの夕食会である。マスクがLAからベイエリアに来るときのお気に入りだった場所だ。アルトマンはそこで、OpenAIを立ち上げる最初のチームを集めようとしていた。彼は「マスクに会えるかもしれない」と言って人を呼んだ。サツケバーにはコールドメールを送った。サツケバーが来たのは、マスクに会いたかったからである。グレッグ・ブロックマン、ダリオ・アモデイにもメールを送っている。
その席にいたほぼ全員が、後にOpenAIで働いた。そしてそのほぼ全員が、アルトマンと衝突したのちに去った。
サツケバーは去ってSafe Superintelligence(安全な超知能)という会社を立ち上げた。「これほど遠回しでない当てこすりは聞いたことがない」とバートレットが笑う。「誰かが私とこのポッドキャストを共同創業して、辞めた後に『安全なポッドキャスティング』という番組を始めたら、私はそれを当てつけと受け取りますよ」。
だが、そこにハオは構造を見る。
マスクが去ってxAI。ダリオが去ってAnthropic。イリヤが去ってSafe Superintelligence。ミラが去ってThinking Machines Lab。彼らは自分のビジョンを自分で統制したい。そして、自分のビジョンを土俵に持ち込もうとして失敗した経験から彼らが導き出した最善手が、競合を作ってOpenAIと戦うことだった。
▲ 目次へ戻る「彼らは自分が悪魔を召喚していると分かっているのでしょうか」とバートレットが問う。「たとえ2割の確率で悲惨な結末になるとしても、悪魔を召喚した人物になることは自分を重要で強力で歴史的な存在にするから、気にしていないのでは?」
彼はこう畳みかける。ダリオは破滅的な結末の確率を10〜25%と言った。4分の1は、四連発のリボルバーに弾を一発入れるのと同じだ。「上振れは大富豪になって永遠に記憶されること、下振れは頭に弾丸が入ること——私はその賭けは絶対にしない」。
ハオの答えは長い。まず、「悪魔を召喚していると分かっているか」は、召喚をどう定義するかによる。そしてここでも、前段の論点が戻ってくる。「悪魔の召喚」という語りは、彼らだけがこの技術を開発してよい理由を全員に納得させるための、神話の不可欠な部品なのである。
バートレットが要約する。「分かりました。片方では『我々がやらなければ中国がやる、それは最悪だ』。もう片方では『私以外の誰かがやったら、それも最悪だ』。だから私がやるしかない、金と支持をよこせ、と」。「その通りです」。
ここでハオは『デューン』を持ち出す。フランク・ハーバートのSF叙事詩で、いくつもの「家」がスパイスを巡って争う星間時代の物語である。植民地主義と帝国への参照であり、そして——各惑星にはあらかじめ種として蒔かれた宗教的神話がある。いつかメシアが来てこの星を救う、という神話だ。それが人々を統治する道具として使われている。
ポール・アトレイデスは、父の仇を討ち帝国と戦う意図をもって惑星アラキスに降り立ち、そこに蒔かれていた神話の中に踏み込む。彼は民を束ねて自分の目的に動員するため、メシアの役を引き受ける。最初は、それが神話だと分かっている。だがその神話を生き、呼吸し、身体化するうちに、これは本当に神話なのか、それとも自分は本当にメシアなのかが、彼の中で滲んでいく。
AIの世界で起きているのはこれだ、とハオは言う。一方には、神話づくりに積極的に関与する経営陣がいる。彼女は著書で内部文書を扱っている。目のくらむようなデモを見せることで、良い響きの使命を掲げることで、どうすれば公衆を自分たちの側に連れてこられるかを、彼らは極めて明確に自覚している。だが同時に、その多くは神話の中で自分を見失っていく。日々それを生き、呼吸し、身体化しなければならないからだ。
「だからダリオが10〜25%と言うとき、彼は神話づくりに関与していると同時に、神話の中で自分を見失ってもいる。『本当にそう信じているのか』と問えば、彼は『本当に信じている』と答えるでしょう。何かを言うために言っているときと、実際に信じているときの境目が、滲んでしまっているのです。いまやっていることを続けるためには、信じていなければならないので」。
バートレットがそれを心理学の言葉に置き換える。脳は矛盾する二つの世界観を同時に抱えるのが苦手だから、片方を退けるよう動機づけられる。健康でありたいが喫煙者でもある人に「喫煙は体に悪い」と言えば、最初に出てくる言葉は「そうだけど」である。
そして彼はこう続ける。これらの企業は、AI研究とデータセンター建設のためにとてつもない額を調達し続けなければならない。公の場に出ているとき、彼らは常に資金調達中である。資金調達をしながら「あなたの子どもの未来を破壊するかもしれません、25%の確率で」とは言えない。たとえそれが真実だとしても。
「でもダリオはそれを言っていますよね」。「言っています。でもサムはもう、以前ほど言っていない」。ハオはそこにブランドの分化を見る。彼らはそれぞれ、自分が投影すべきブランドとして少しずつ立ち位置を変えている。
「ダリオは他より道徳的な芯がある、と評価されることが多いですが」とバートレットが振る。ハオは、その問いの答えは本当は重要ではないと言う。
「でも人々は投票に行けます」とバートレットが言う。ハオは首を振る。これらの企業が動く速度と規模を前にすれば、彼らは次の中間選挙で数億ドル規模の金を投じ、自分たちの邪魔になるあらゆる法案を潰し、自分たちの優位を法的に固定する法案を書かせることができる。
「だから社会として、我々は『このリーダーは善人か悪人か』に少し取り憑かれすぎていると思うんです。もっと大きな問いは、我々が作った統治の構造は健全か。広い参加を許す構造か、それとも意思決定権をごく少数の手に集約した反民主的な構造かということです。完璧な人間などいません。誰がトップにいようと、自分とは根本的に異なる言葉と文化と歴史の中で生きている、これほど多くの人々を代表して決定を下す能力を、何も間違えずに持てるはずがない」。
「だからこそ歴史を通じて、我々は帝国から民主主義へ移ってきたのです。帝国という構造は、本質的に不健全だからです。それは、世界の大多数の人が尊厳ある人生を送れる確率を最大化しない」。
▲ 目次へ戻るここでバートレットが、意識的に相手側の弁護に回る。もし米国がAI研究の加速をやめれば、いずれ中国のモデルがあまりに賢くなり、我々はそれを借りるしかなくなる。科学的発見は彼らのものになり、自律兵器の新時代も彼らが切り拓き、我々は彼らの裏庭になる。論理としては、かなり正しく見える。
「いいえ、正しくありません」。
彼は食い下がる。知能の改善率をどんな値でもいいから仮定して、それを長期間伸ばせば、いずれ米国の電力網も兵器システムも無力化できる兵器に到達する。理論上そうなるなら、確率が小さくても注意を払う価値がある。最も知的な文明が最も優位な文明になる、というのは論理的に堅い言明では?
ハオは、その論法が成り立つために真でなければならない前提を、一つずつ倒していく。
まず、これらのシステムが知的かどうかは、そもそも我々は知らない。というより、知能というたとえ自体が適切でない。電卓を考えてみればいい。電卓は人間より速く計算する。それは電卓を知的にするか。
電卓には狭い知能がある。1+1=2という狭い問題を解いているからだ。そして現在のAIも、実はかなり狭い意味で知的である。企業は「誰にでも何でもできる万能機械」だと言うが、実際には一部の人に、一部のことしかできない。これがいわゆるギザギザの最前線(jagged frontier)である。ある能力はかなり良く、別の能力はそれほどでもない。
なぜそうなるのか。企業は特定の種類の能力しか前進させられないからである。すべての能力を同時に伸ばすことは文字通りできない。ある能力を伸ばすと決めたら、その能力に必要なデータを集め、大量の人間の請負作業者を雇って注釈をつけさせ、まさにその一点をモデルに訓練させなければならない。
だとすれば、モデルの規模を大きくすることと、サイバー能力や軍事能力が具体的に伸びることは、直交する(別々の)問いである。AIはすでに長年軍事で使われてきたが、大規模言語モデルを加速させることが軍事能力を得る唯一の道筋ではない。企業は、軍事能力を伸ばすと明示的に選択しなければならない。
それは赤ん坊が育って一般的な能力を獲得していくのとは、まったく違う話である。
バートレットは、AIのトップランナーの多くが知能はまだ伸び続けると信じている、ヒントンもそうだ、と指摘する。ハオは第7章の論点に戻す。それはヒントンの「脳は統計エンジンである」という仮説に依存した信念であって、普遍的な合意ではない。とりわけAIの世界の外——人間の知能と脳を実際に研究している神経科学者や心理学者——と話すと、そこには大きな議論と不一致がある。
そして彼女は、話をもう一段引き上げる。
バートレットは、業界が一点に収斂している事実を挙げる。イーロンはメンフィスにコロッサスという巨大スーパーコンピュータを建て、10万基のGPUを収めた。競合より速くモデルの規模を上げるためである。力任せに押し切れば、より高度でより汎用的な知能に到達できる——全員がその考えに収斂したように見える、と。
ハオの訂正は正確だ。「彼らが収斂したのは、金になるタスクを自動化するために人々に売れるモデルへ、力任せに到達できるという考えです。」
ここで「人間との比較」という枠組み自体への疑問も出る。バートレットが人間側の弱さを挙げる。「AIモデルは幻覚を起こす、と壇上で言う人がいる。私は『人間に会ったことあります?』と思う。私は年中幻覚を起こしているし、スペルも計算もまともにできない」。
ハオはそこで、話が最初に戻っていることを指摘する。我々は繰り返し「知能」というたとえを使い、機械を人間の知能に関係づけることで、それが社会にとって良いか、価値があるか、有能かを測ろうとしている。だがそのたとえは、この分野の初期に、これらの技術を売り込む方法として意図的に選ばれたものだった。
バートレットは実利で押す。ロサンゼルスでは自分の車が自分で走る。何時間もハンドルに触らない。オースティンではハンドルもペダルも取り払われた新しいサイバーキャブが走っている。違う仕組みでも、車として世界を走り、人間より安全な事故率なら、知能かどうかは自分にはどうでもいい。
ハオは、それは元の主張ではないと切り返す。元の主張は「これらのシステムは、予測に基づいて、さまざまな領域にわたって全般的により知的になっていく」というものだった。そしてそれは予測である。誰の予測か——イリヤの、ダリオの、イーロンの、ザッカーバーグの、サムの、デミスの予測である。そして先の一言が来る。「その全員に共通するのは、その神話から莫大な利益を得ていることです」。
自動運転車の話で、バートレットが機械の優位を挙げる。一台のロボットが工場で何かを学べば、全台がそれを学ぶ。人間全員が他の人間の学んだことを全部学べたら、とてつもない競争優位になる。
ハオは、そこに反対の可能性を置く。全台が「間違ったこと」を学ぶこともありうる。そしてそれは実際に、これらの技術で何度も起きてきた。全台が同じ間違いを学び、全台が同じ故障モードを持つ。
「イーロンは、外科医になる訓練はするなと言っています。数年でオプティマスとAIが史上最高の外科医を超えると」。ハオはまず、記録に残っている外れた予測を思い出す。ヒントンは、放射線科医はもう必要なくなると言った。しかも期限を切った。その期限はすでに過ぎている。放射線科は職業として非常に好調である。
「では5年後は?」と聞かれ、彼女はまた根本の問いに戻す。なぜ我々は技術を作るのか。なぜAIを作るべきなのか。技術開発の営みは、技術のために技術を進歩させることではない。人を助けることだ。そして——
「いいえ」。理由は技術の仕組みにある。現在のAIモデルは基本的に統計エンジンである。ニューラルネットワークという、密に結合したノード(=パラメータ)の塊にデータを大量に流し込み、相関とパターンを見つけさせる。そのパターンを通じて機械は自律的に振る舞える。
自動運転車の訓練とは、こういうことだ。膨大な映像を記録し、数万人から数十万人の人間の請負作業者が、映像の中のすべての車両、すべての歩行者、すべての信号、すべての車線標示を文字通り一つずつ囲んでラベルを付ける。それをAIモデルに与え、これらの構成要素を識別できるようにする。そしてその出力が、AIではない別のソフトウェアに接続される——「AIモデルが歩行者を認識したら、歩行者を轢かない。赤信号を認識したら、止まる。」
統計エンジンの本質は、それが確率に基づいており、決定論的な論理に基づいていないことだ。だからシステムは常に誤りを犯すし、誤りをゼロにすることは技術的に不可能である。
「でも人間の方がずっと多く誤ります。テスラの自動運転の方が10倍安全だという話も」。ハオはここで、条件を切り分ける。それは場所による。テスラがその場所を走るように具体的に訓練されたかどうかによる。ムンバイなら、ベトナムのどこかなら、より安全ではない。そこで一生運転してきた人に運転してもらう方がずっといい。
「その車が明示的に訓練された場所で、そこの人間より事故率が良い、という事実に反論しているのではありません。あなたが聞いたのは『世界中の/米国の車のほとんどがそうなるか』です。それは差し迫った地平線の上にはないと思います」。「10年では?」「思いません」。
そしてもう一つ、技術の問題ですらない部分がある。社会の問題——人はそもそもこの乗り物に乗るのを信頼するか。法の問題——自動運転車が人を殺したとき、誰が責任を負うのか。ロサンゼルスの事例では、運転者が落としたスマホを拾おうとして人をはねた。裁判では運転者とテスラの双方に責任があるとされた。
そしてバートレットが「フル・セルフドライビング」という名前を口にすると、ハオは静かに訂正する。「部分的な自律です」。「はい、名前は確かにフル・セルフドライビングですが」「監視付きフル・セルフドライビング、ですね。正しい方向を見ていなければならない」「ええ、つまり部分的な自律です」。
▲ 目次へ戻る「大規模な雇用の喪失は起きると思いますか」。ハオの答えは、二分法を拒むところから始まる。
雇用への巨大な影響は起きるし、すでに起きている。だがそれは単にAIモデルが仕事を自動化しているからではない。正確にはこうだ。①モデルは、それを開発する企業が「伸ばすと決めた」能力において改善している。②他の企業の経営陣が、AIが労働者を代替できると考えて解雇や人員削減を決める——それが本当かどうかとは無関係に。
その代表例として名前が挙がり続けるのが、クラーナ(Klarna)のCEOセバスチャン・シェミアトコフスキだ。AIで全員を置き換えられると考えて大量に解雇し、うまくいかず何人かに戻ってきてくれと頼んだ、という話である。
バートレットは、その件を本人に直接確かめていた。DMの返信を読み上げる。
ハオはこの返答を歓迎する。ここには重要なニュアンスがある、と。「AIはすべての仕事を奪う」か「AIは実は使い物にならず仕事は奪わない」かという二項対立が語られがちだが、現実はこうだ。モデルの能力ゆえに実際に自動化されている仕事がある。そして同時に、モデルの能力が足りていなくても『十分マシ』だからと経営陣が解雇を決めている仕事もある。ずっと安い十分マシなモデルの方がいい、というだけの判断で。
「あるいは採用を誤った、人員を膨らませすぎた、それを説明する都合の良い言い訳になる、というのもありますね」とバートレットが足す。「まさに」。
実際、今年出た米国の雇用統計は、とくにホワイトカラーの専門職領域で採用の減速を示していた。そしてこの週に出たAnthropicのレポートは、人々が実際にモデルをどう使っているかを調べたもので、バートレットの要約によれば初級(エントリーレベル)の職が40%減少していることを示していた。同社はさらに、現在の使われ方から外挿して「今後どこが破壊されるか」を示す図を作り、それがネット上で広く出回っていた。
図の中で手つかずとされているのは、建設や農業のような物理的で現実世界の人間の仕事である。破壊されるとされているのは事務・管理、金融、数学、法律、メディアと芸術、アシスタント業務、管理職。「私は終わりですね」とバートレットが自分の職種を見て言う。
ハオは、そのリストを黙って指さす。「いま私が挙げた、彼らが意図的に選んで伸ばしている分野そのものだと気づいてください——金融、数学、法律。」
収録中に、クラーナのCEOその人から電話が入る。バートレットが出て、そのまま話を聞く。
彼の説明はこうだった。彼らは早い段階でカスタマーサービスにAIを入れ、より多くの問い合わせがAIで処理されるようになった。顧客はそれを歓迎した。応対がずっと速く、質も高かったからである。そこから対象は少し広がった。
だが同時に伝えようとしていたのは、「AIが安く豊富にある世界では、人間との対話の価値はより高く評価されるようになる」という考えだった。だからカスタマーサービスの未来のVIP対応は人間であり、そこに彼らはむしろ倍賭けしている。
数字はこうだ。かつて約6,000人だったのが、いまは3,000人未満。採用を止めて2〜3年になる。同じ期間に売上は倍になった。AIによって少ない人数でより多くを成せるようになったのは明白だが、彼らはレイオフを避け、自然減(人が他の仕事へ移っていくこと)に頼った。今後も年10〜15%の自然減が続き、人数はさらに減っていくと見ている。
そして彼は、転換点として昨年の11〜12月を挙げた。最も懐疑的だった側の、極めて高名で敬愛されているエンジニアたち——たとえばLinuxの創始者のような人物まで——が、「コーディングはもう解かれた、もう自分でコードを書く必要はない」と言い始めた。それが共通の空気になった。「だからコーディングという工学の仕事に関しては、この半年で途方もない地殻変動が起きたと思います」。
「その人たちは、何をしに行くんでしょうね、セバスチャン」。彼はこう答えた。「私は楽観的です。短期的には、職に就けない人がどうなるかという心配はもっと出てくるかもしれない。でも長期的には、我々はより豊かな社会へ向かうと今も信じています。」
▲ 目次へ戻るクラーナのCEOが電話を切ったあと、ハオは「彼が電話してくる前にあなたが言ったこと」に戻りたい、と言う。しかし、その前に彼女は、雇用の話で最も語られない部分を置く。
自動化の波が来るたびに起きるのは、初級の仕事の一群が自動化され、同時に新しい仕事も生まれるという現象である。だが生まれる仕事は、二つのカテゴリのどちらかに入る。一つは、より高度な技能の仕事——クラーナのCEOが言った「手仕事のコードにはより高い金を払う」がそれだ。もう一つは、はるかに悪い仕事である。
ニューヨーク・マガジンに出た記事が、その後者を描いていた。多くの人が解雇され、その先でデータ注釈(data annotation)の仕事に就いている。この対談を通じて彼女が言い続けてきた、あの労働である。
データ注釈とは:チャットボットなどのAIシステムに「最終的にできるようになること」を教え込む作業のこと。ChatGPTが会話できるのは、数万人から数十万人の人間が実際に大規模言語モデルに文章を打ち込み、「ユーザーがこう入力したら、あなたはこう応じるべきだ」を一つひとつ示したからである。その作業の前は、モデルは相手と対話にならない、なんとなく隣接しただけの文章を吐いていた。
この注釈作業のデータを使い、モデルに反復的に学習させていく工程が強化学習である。
ここに、ハオがこの対談で最も鋭く提示する円環がある。
この業界は、いま職が見つからずに苦しんでいる多くの人を吸収する巨大な受け皿になっている。記事によれば、その中には受賞歴のあるハリウッドの監督が、食い扶持のためにひそかにデータ注釈をしている例まで含まれていた。LinkedInが出した「この1年で最も伸びた職種トップ10」に、データ注釈は入っている。
「大量失業が起きる、でも我々には想像もつかない新しい仕事が生まれる」という語りは、二つのことをほとんど語らない。①なぜ仕事が消えているのか——モデルの能力だけでなく、経営陣の選択と、人減らしをしたいときに使える都合の良いレトリックのせいでもある。②生まれる仕事の多くが、消えた仕事よりずっと悪いということ。
そして、キャリアのはしごが折れる。抉り取られるのは初級と中堅である。上位の仕事と、はるかに下位の仕事が残り、人が昇っていくための段が無くなる。「では人はどうやってキャリアを進めるのですか」。
ここでバートレットは、自分がその決定を下す側にいることを正直に開示する。彼は数百人のチームメンバーを抱え、70社に投資し、5〜6社では筆頭株主である。そして自分を採用責任者だとも考えている。
「この1か月、文化的な適合という意味でも、勤勉さという意味でも、極めて有能な候補者に何人も会いました。でも、私は大きく立ち止まらざるを得なかった。『同じことをAIエージェントにやらせられるか』という実験を回すと、答えがますますイエスになるからです。とくにClaude Codeのようなものがある世界では」。
ハオが問い返す。「では短期的にはAIエージェントを選べる。でも長期的にはキャリアのはしごが無い。あなたは誰を上級職に昇進させるのですか。ご自身の会社で、これをどう解くのですか。」
彼の答えは三つの人材像だった。
①深い専門性。AIエージェントの指揮者になるということは、正しい問いを立てられることが本質になるということだ。それができるのは、何かについて深い専門性を持つ人である。「財務分析をするエージェント群を指揮するなら、CFOは我が社の文脈で彼らに何をさせるべきかを理解していなければならない。財務アナリストにはそれができない。彼女が持っている50年分の経験が要る」。
②エージェントを使い倒す、高い好奇心の持ち主。「キャスは25歳です。AIエージェントのことなら何でも知っている。極めて好奇心の強い日本人の若者で、週末には私の生活の問題を解くAIエージェントを作っている。必ずしも若くある必要はないけれど、深く踏み込む好奇心。これが会社の中で力の増幅器になっています」。
③現実世界での対人能力。「我々は実際に人に会います。ここに来た人を出迎える。大きなクライアント——アップルでもリンクトインでも——と昼食に行く。オフィスには対面のチームがいる。この番組でも世界中でコミュニティのイベントをやっている。現実世界で人を集め、場を作れる人が要る。」
「いまの軌道のままで進めば、その三つの職種も圧力を受けるのでは?」とハオが問う。バートレットは、静的・線形・指数的という考え方の違いを挙げつつ、こう答える。最後に残るのは、置き換えのきかない人間そのものの部分だと思う。人と人。同じ場所にいることというマズロー的な欲求は変わらない。人は深い関係を持たないと本当に病む。
▲ 目次へ戻るバートレットは、自分でも風変わりだと言う逆張りの見立てを出す。
彼はデータを二つ挙げる。①フィナンシャル・タイムズのSNS利用に関するレポートでは、2022年がピークで以後は横ばい。最も早く頭打ちになり、下降に転じているのは若い世代である(ブーマー世代はまだ伸びている)。②Z世代より下のアルファ世代は「ポスティング・ゼロ」と呼ばれ、投稿しない。スクロールはするが、WhatsApp、Snapchat、iMessageのような「暗い(=公開されない)ソーシャル」の中にいる。世界に向けてパフォーマンスをしない。
そして彼らは、他のどの世代よりも現実世界の体験を重視する。「べろべろに酔ったりしない。いまやどのブランドもランニングクラブを持っている。ランニングが世界中で爆発している」。技術は根本のところで我々を裏切った——マッチングアプリも、ソーシャルネットワークも——という、ほとんど本能的な認識が広がり、社会が二極化していく。「人間であるとはどういうことか、そこへ帰りたい」という側へ人が動いている、と。
彼女は、まずニューヨーク・マガジンの記事に戻りたい、と言う。理由はこうだ。
記事に出てくる人々は、高学歴である。大学卒業者、博士号取得者、法学位取得者、医師。経済がAIによって大きく組み替えられたために職を見つけられなくなった人たちが、その産業に吸収されていく。そしてその産業の設計は、極めて非人間的である。
構造はこうだ。OpenAIやxAI、グーグルといった顧客企業は、第三者のデータ注釈会社に発注する。その会社が、必要な作業をする労働者を探してくる。これら中間層の会社は互いに競って契約を取りにいくため、できるだけ速く、できるだけ安く注釈を仕上げさせようとし、労働者同士を競わせるインセンティブを持つ。
その結果、記事の取材に応じた労働者たちは、もはや人間でいられないと語る。彼らはノートパソコンの前で、いつプロジェクトが開くかというSlackの通知をひたすら待っている。他の仕事を探したが、文字通り見つからない。これが子どもに食べさせるための手段なのだ。
一人の女性の言葉が引かれる。「いつプロジェクトが来ていつ消えるのか分からない不安があまりに大きくて、来たときはちょうど子どもが学校から帰る時間でした。私は必死で作業を続けました。いつ消えるか分からないから、この窓の間に稼げるだけ稼がないといけない。だから帰ってきた子どもが話しかけてきたとき、私は子どもに『邪魔をするな』と怒鳴りました。」
そして彼女はこう続けたという。「私は化け物になってしまった。トイレに行くことも、子どもの世話をすることも、まして自分の世話をすることも許されない。この産業は——解雇された労働者をますます吸収しているこの産業は——私の人生を機械化し、私の仕事を細切れの粒にし、私の専門性の価値を奪い、そしてそれを収穫して、AIの経営陣たちが『これから他のみんなの仕事も奪う』と言っている機械を回し続けるために使っているのです。」
ハオはそこで、バートレットの希望の見立てにこう返す。
バートレットは、自分の最大の恐れを口にする。産業革命なら、工場を建てるのに時間がかかるから、10年20年かけて職業を訓練し直せた。だがAIが乗っている流通の層は「開かれたインターネット」である。だからChatGPTは一瞬で数億人のユーザーを獲得し、史上最速で成長した企業になれた。「私の恐れの一つは、この破壊が、我々が移行できない速度で起きることです」。
ハオは、その一文の文法を指摘する。
バートレットは、AI企業のCEOたちに聞いても誰も答えられない問いがある、と言う。「では人々はどうなるのですか」。ウーバーのCEOにも聞いた。答えは「たとえば運転手にはデータのラベリングの仕事がある」だった。だが900万人の配達員が全員データラベラーになれるわけがない。そして、意味と目的と充足の問題がある。
彼は、この番組で何度も聞いてきた話を挙げる。イランで医師だった父親が米国に来てトイレ清掃員になり、その恥と尊厳の欠如をどう感じ、それが自尊心をどう蝕み、そこからうつとアルコール依存がどう生まれたか。これが社会全体で大規模に起きたら、そういう帰結が山ほど生まれる。
「それこそが私の仕事の中心的な主題です」とハオは言う。「私がこれらの企業に批判的なのは、彼らが技術を、極端な形で『持てる者』と『持たざる者』を生む仕方で作っているからです。すでにある不平等を、さらに悪化させている。持っている人はさらに多くの富を持ち、さらに多くの自由時間を持ち、より人間らしくいることを許される。持っていない人は、さらに絞られる。」
▲ 目次へ戻るそしてそれは、労働の話だけではない。ハオは著書で、これらの企業が生んでいる環境と公衆衛生の危機にも章を割いている。彼らは巨大なスーパーコンピュータ施設を、世界中の地域社会の中に建てる。そして最も脆弱な地域社会を狙って選ぶ。
収録地はテキサスである。OpenAIの最大級のデータセンター計画のひとつが、テキサス州アビリーンに建設中だ。スターゲート(Stargate)——トランプ第二次政権の発足時に発表された、AIの計算インフラに5000億ドルを投じる構想の一部である。
完成した施設は1ギガワットを超える電力を消費する。ハオの説明では、この施設はセントラルパークほどの大きさで、100万個のコンピュータチップを動かし、ニューヨーク市の20%を超える電力を必要とする。
番組で示された写真は、実はアビリーンのものではなくメタの施設のものだった、とハオは訂正する。ルイジアナに建設中のメタの施設は、アビリーンの4倍の大きさで、ニューヨーク市の平均電力需要の半分を使う。大きさはマンハッタンの5分の1にあたる。
電力の使用量が上がり、送電網の信頼性が下がる。そして施設は、動かすための発電にも、冷却にも、淡水を必要とする。すでに水資源が逼迫している地域、干ばつの中にある地域に施設が入り、その地域社会が施設と淡水を奪い合うという記録が数多く残っている。ハオは著書でそうした地域社会のひとつを扱っている。
そしてときに、施設は送電網に繋がる代わりに、隣に発電所が生えてくる。
テネシー州メンフィスで、マスクはGrokを訓練するためのスーパーコンピュータコロッサスを建てた。その施設に電力を供給するために、彼は35基のメタンガスタービンを使った。
そこは労働者階級の地域であり、黒人と褐色の肌の人々の地域であり、農村部の地域である。彼らは、自分たちがその施設のホストになることを、知らされてすらいなかった。彼らがそれを発見したのは——
ここは、すでに環境レイシズムの歴史に晒されてきた地域である。きれいな空気への権利を得るために、彼らはすでに多くの闘いを強いられてきた。そこへ巨大なスーパーコンピュータが降ってきて、何千トンもの有害物質を空気に送り込み、子どもたちの喘息の症状を悪化させ、他の人々の呼吸器疾患を悪化させている。肺癌の罹患率が最も高い地域のひとつである。
「そして、そのスーパーコンピュータが彼らの仕事も奪っている」とバートレットが言う。「ええ、そしてスーパーコンピュータが彼らの仕事も奪っている」。
「では、どうすればいいのか」。ここからがハオの提案である。彼女がいつも使うたとえは「交通(transportation)」だ。
交通という言葉は、自転車からロケットまで、文字通りすべてを指しうる。そして我々は交通について、ニュアンスのある会話をしている。もっと持続可能な選択肢へ移行すべきだ、公共交通へ、電気自動車へ、と。そして「全員の移動需要をすべてロケットで満たすべきだ」とは絶対に言わない。
「オースティンにいますが、ダラスからオースティンへ飛ぶのにロケットを使ったら、まったく意味がない。A地点からB地点へ移動するという便益に対して、資源の使い方があまりに不釣り合いだからです」。
AIも、そう考えるべきだ、と彼女は言う。
彼女が挙げる例がディープマインドのAlphaFoldである。アミノ酸配列からタンパク質がどう折り畳まれるかを予測するシステムで、創薬の加速と、人間の疾患の理解にとって極めて重要であり、2024年のノーベル化学賞を受けた。
これが「AIの自転車」である理由は、小さく、丁寧に選ばれたデータセットを使っているからだ。アミノ酸配列とタンパク質の折り畳みのデータしか要らない。だから開発に必要な計算資源が劇的に少なく、つまりエネルギーが少なく、つまり排出が少ない。そのうえで、人々に莫大な便益を与えている。
▲ 目次へ戻るバートレットが、多くの人が抱く諦めを代弁する。「この件では、馬はもう厩舎を出てしまった気がします。彼らはすでに人々の知的財産を取り、メディアを取り、このポッドキャストでも訓練している。訓練していることは分かっている。YouTubeの管理画面には、押すだけで『あなたのチャンネルで訓練します』というボタンまで出来ています。」
ハオの反論は短く、そして効く。
「では、この力任せのスケーリングのアプローチが止まったり、別の方向に行ったりする可能性はあると思いますか」。ハオは、その問いの立て方そのものを組み替えたいと言う。
「止まらないと分かっているこの瞬間に、我々は何をすべきか、という問いに言い換えさせてください。これらの企業が、いまやっていることを続けるために、資源と入力と労働を必要とし続けていると認識したうえで」。
「『やめろ』ではないんですね」とバートレットが確かめる。「『やめろ』は無理だと感じます。いまの政権はこれらの企業を猛烈に支援しているし、これは世界中で起きていることだから」。
「私はいつも、帝国を解体しなければならない、そして代替を育てなければならないと言っています。そして我々はすでに、帝国が自分のアジェンダを展開しようとするやり方に対して、途方もない圧力をかけている草の根の運動の開花を目にしています」。
数字が出る。直近の世論調査で、アメリカ人の80%がAI産業は規制されるべきだと考えている。「最後に80%のアメリカ人が同じ側に立った問題が、いつありましたか」。「ないですね。私がこの番組でこの話をすると、コメント欄は明確です。異論がない。『いや、どんどんやれ』と書く人が一人もいない」。
データセンターに反対する抗議行動が、この国でも、世界中でも、何十件と起きている。そして彼らは実際に効果を上げている。データセンター計画を止め、自分たちの自治体でのデータセンター建設を完全に禁止させている。
▲ 目次へ戻る「目指すべきゴールは何ですか」とバートレットが聞く。コメント欄に溢れているのは無力感である。「私にできることなんて何もない、私はただの——」。
「ゴールは、この技術を完全になくすことではありません。ゴールは、これらの企業が帝国であることをやめることです。」
彼女は、普通の企業と帝国の違いをこう定義する。
だから北極星はこうなる。これらの企業が帝国的に振る舞うとき、押し返し、責任を取らせること。
①データセンターへの抗議。路上で実際に抗議している人々が、計画を止め、地域から締め出している。
②アーティストと作家による訴訟。知的財産の侵害でこれらの企業を訴え、「我々は自分の知的財産をどう守りたいのか」という巨大な公的議論を作り出している。
③家族による訴訟。ハオは3週間前にミーガン・ガルシアに会った。キャラクター系チャットボットに性的にグルーミングされた末に自死した14歳、シューウェル・セッツァー3世の母親である。息子に起きたことに打ちのめされながら、彼女は行動することを選んだ。彼女は企業を訴えた。その訴訟が、同じようなことを経験していた他の多くの親と家族の提訴を呼んだ。そしてそれが、これらの企業が抽出し搾取するときに実際に何をしているのか、その代償は世界中の人々の——子どもを含む——命にとって何なのか、という巨大な公的議論を生んだ。
ハオはまず、変化はすでに起きていると言う。「私がこの本を書いていた頃、存在していた言説は『スライスされたパン以来の最高の発明だ』だけでした。いま、80%のアメリカ人がこの産業を規制したいと言っている。それは、これらの企業のやり方に納得していない人々が声を上げてきたからです」。
そのうえで、彼女の助言はこうだ。
あなたはこれらの企業に対するデータの提供者です。そのデータを差し止めることができる。アーティストと作家がやっているのはそれだ——訴訟によって、データが差し止められる仕組みそのものを作ろうとしている。
あなたの近所にデータセンターが建とうとしているかもしれない。
あなたが学校や企業にいるなら、いままさに「AIの導入方針をどうすべきか」という議論をしているはずです。
そして彼女は、直近でOpenAIの社員数人と話したときのことを明かす。社内では、会社の収益目標が途方もない水準であり、それが実現するには何もかもが完璧に運ばなければならない、と理解されているという。全員が採用しなければならない。あらゆる場所が採用しなければならない。データセンターも、目指している速度で建てられなければならない。
バートレットは、自分の中にある割り切れなさを正直に置く。「CEOとして、創業者として、起業家として、技術を愛する者として、私はAIを信じられないほど素晴らしいと思う。私にできるようになったこと、作れるようになったものは、本当に驚異的です。朝、私の車が私より安全に運転してくれることも。10億人ほどのAI利用者も、たぶん人生に価値が加わったと言うでしょう。でも——それが真実だと思いながら、同時に重大な意図せざる結果があるとも思える、というのが、人にはうまく扱えない」。
「まさにその二つを頭の中に同時に持てます」とハオは言う。「そして私が言っているのは、その緊張は緊張である必要がない、ということです。これらの技術の有用性と便益を保ったまま、これらすべての意図せざる結果を伴わない別のやり方で、開発し設計することが実際にできるのだから。」
彼女は最後に、その議論がどこで起きているかについても、司会者の見立てを訂正する。バートレットが「その会話は政府では行われていない。産業の中でだけ起きている」と言うと、彼女はこう返す。「産業の外では、いたるところで起きています。地方政府でも州政府でも、この件について巨大な議論が起きている。私はブックツアーで世界中の何十もの都市を回りましたが、部屋が満員でなかった都市は一つもありませんでした。そして、他のどの部屋の人とも同じ問いと格闘していない都市も、一つもありませんでした。」
▲ 目次へ戻るこの番組の締めくくりの恒例は、いつも同じ問いである。「余命を告げられた友人にするあなたの助言は、あなた自身がすることと、どう違いますか。」
ハオは少し詰まってから答えた。「その人には、自分のために生きて、人生を楽しんで、と言うと思います。……そして、無理をしないで、と。」
「でも、あなた自身はそうしない」。「ええ。私は、無理をしていないとは言えません。」
バートレットの結びはこうだった。「あなたが無理をしていないわけではないのは、良いことだと思います。あなたが率いている会話は、途方もなく重要なものだから。結局のところ、会話こそが重要なのだと思う。アルゴリズムとエコーチェンバーのせいで、こういう会話は——とりわけ長い形式の会話は——いまや本当に稀になってしまった。だからこそ、これらはとても大切なんです」。
「私は日常的にAIの人たちと会って話していますが、今日は本当に多くを学びました。あなたの本が取っている、広範で客観的な視点のおかげで、ツイートで断片的に流れてきて真偽の分からなかった物語が、ほどけていく。あなたが実際に人に会い、調べ、そして人類の利益を北極星として持っているからです。どうか、いまのやり方で戦い続けてください。あなたのような人が、世界中で起き始めている集団的な行動を呼び覚ましているのだと思います」。
▲ 目次へ戻る問題はAIという技術そのものではなく、それを作っている権力の構造である。
数十億人の人生を左右する決定を、ごく少数が下し、その数十億人には一切の発言権がない——それをハオは「帝国」と呼ぶ。
だから彼女の答えは「AIをやめろ」ではない。「帝国であることをやめさせろ。そして、別の作り方の実例を育てろ」である。
公正な価値の交換があるなら、それは普通の企業だ。抽出と搾取だけで成り立っているなら、それは帝国だ。線はそこに引かれる。
見るべき指標は「モデルの賢さ」ではなく、誰が代償を払っているかである。
——アビリーンの水。メンフィスの空気。抜け落ちたキャリアのはしご。Slackの通知を待ち続ける、元マーケターの一日。
そして、ロケットの代わりにAlphaFoldのような「自転車」を、もっと作れるかどうか。