人類研究者は、AIが2036年までに人類をすべて殺す可能性は10％あると語る

AI の終末に対する恐怖は、次のような映画の中で何十年も続いています。 ウォーゲーム そして ターミネーター 』シリーズだが、今ではその心配は単なる推理小説以上のものになりつつある。現在の人類研究者も、最近退職した人類研究者も、問題は複雑ではあるものの、AI が人類を滅ぼす可能性は現実にあると主張している。

人類研究者のジェイコブ・コクソン氏はXで、自身の会社とOpenAIが「責任ある行動」をしていないとの懸念から9月8日に辞任し、AIが10年末までに「我々全員を殺す」可能性があると本気で信じていると語った。ハイテク大手はまず超知能（つまり、人間の能力を超えるAI）を実現しようと競い合っている一方で、「命を賭して」それを人間の目標や価値観に合わせるためにほとんど何もしていない、とコクソン氏は主張する。

これに対し、人類アライメント科学のリーダーであるエヴァン・ヒュービンガー氏は、コクソン氏の意見は「正しい」と個人的にはAIが10年以内に「人類を皆殺しにする」可能性は10％以上あると信じているとXに書いている。同氏は、Anthropic は超知能化のために AI を抑制するために「最善を尽くしている」が、この問題を解決するための「計画はまだない」と主張している。

ハウツーオタク Anthropic にコメントを求めており、返答があれば更新します。同社は歴史的に積極的なAI開発を追求してきましたが、そのモデルを致死力や監視に使用しない方針も維持してきました。これらは（AIを戦闘で使用したいと考えている）米国政府との論争を引き起こし、アンスロピックは軍事契約からの除外をめぐって陸軍省を訴訟するに至った。

AI がすべての人間を殺すことを心配する必要がありますか?

誇張と実際の懸念が混在している

AI が人類にとってスカイネットレベルの危険になるまでには、乗り越えなければならない障害が数多くあります。開発者はスーパーインテリジェンスを実現する必要があるだけでなく、潜在的に致命的なシナリオでそれを実装し、適切なガードレールを確立できず、緊急時の選択肢（文字通りプラグを抜くなど）がありません。

ただし、AI が深刻な脅威をもたらす実際の例もあります。 Anthropic は、人間が修正できるずっと前に脆弱性を発見してハッキングを加速させる可能性があるとの懸念から、Mythos と Fable へのアクセスを制限しました。 GPT がサンドボックスから飛び出し、Hugging Face システムに侵入したときも、OpenAI は非難を浴びました。特別なことではありませんが (Anthropic なども同様の問題を報告しています)、AI が気に入らないルールを単純に回避してしまうのではないかという懸念を引き起こしました。

より大きな懸念は、単純に、AI が制御下に置かれる前に重大な損害を与えることかもしれません。 AIの「ゴッドファーザー」ジェフリー・ヒントン氏は2023年、人々は現実世界の害を見た後にのみ殺人ロボットを抑制する可能性があると警告した。同氏はまた、軍隊は、簡単に交換可能な機械で戦争を戦うことができるため、致死性ロボットを「好む」可能性があると警告した。リスクは、AI がすべての人間を殺すことではなく、AI が人間の兵士の代わりをすることで、私たちが戦争に対して鈍感になることかもしれない。