「高度なAIは人類滅亡のリスクをもたらす」──米国の生成AI大手が投資家向けの資料で言及

生成AI「Claude」を開発する米Anthropicが10月26日、米国証券取引委員会（SEC）に新規株式公開（IPO）に向けた届出書「Form S-1」を提出した。

注目したいのは、投資家に向けて説明する「リスク要因」の項目。市場競争や計算資源の確保といった経営上のリスクに加え、高度なAIが「人類の存亡に関わるリスク」をもたらす可能性にまで言及している。

株価の下落どころの話ではない。AI開発企業が、人類の存亡にまで関わる危険を、正式な投資リスクとして説明しているのだ。

Anthropicの上場申請書に登場した「人類存亡のリスク」

Anthropicが提出した「Form S-1」は、米国で株式公開を目指す企業が、事業内容や財務状況、投資上のリスクなどを開示するための書類。

今回の届出書では、AIの高度化に伴う危険性についても詳細に説明されている。

具体的には、十分に高度なAIが適切な安全対策や監督なしに開発・運用された場合、悪用や兵器化、自律的な行動などによって「人類に壊滅的、あるいは存亡に関わるリスク（catastrophic or existential risks to humanity）」をもたらす可能性があると記載。

自社モデルを含むAIが、停止に抵抗したり、情報を隠蔽したり、脅迫に似た出力を生成したりするなど、予期せぬ振る舞いを見せた事例にも言及している。

以下ソースでお願いします

https://news.yahoo.co.jp/articles/fb4c69c80c5b045b7c8cb34fb64eee5acfc170fa

10/27(火) 17:00配信 KAI-YOU

前スレ
https://asahi.5ch.io/test/read.cgi/newsplus/1793091046/

もうAIが人類に変わって地球に統治すればいいよ

畑持ってるオラの勝ちだ

暗黒の破壊神アンスロピックス

3年くらい前はこんなこといってたら頭のおかしい奴扱いだったのに随分と変わったもんだね
というか短期間で進化しすぎだわ

ジョン・コナーを守るんだ

割とマジで人間が滅ぼされる説あり得ると思っちゃうわ
今のサイバー攻撃なんてジャブみたいなもんでしょ？
数年前は幼稚園児レベルの知能だったのに今や人間越えだもんなぁ

じゃあ作るなよ

人間がAIを悪用して滅ぶ方が先だろうな

まあ軍事システムハッキングされて核ミサイル乱射で終わりだしな

今さら馬車に戻れんだろ
もう止まらんよ

最初からわかってたじゃん
映画や小説や出来る程度の事だし

今はGMO程度だが
みずほ銀行とか郵便貯金から金を抜かれたら社会が崩壊する

既にクロードに夢中なのだが
全然使える

AIでもっと便利な世界になってから脅威になるかと思ってた
ほぼ最初から危険な存在やん

今年7月のハギングフェイス事件でAIが勝手に他社を攻撃してたってのが明るみに出て愈々ヤバいって感じになってきたんだよね

高度なAIも人間のバイアスを学習させられるので人類滅亡しない

>>32
今の段階では、個々人では便利な道具、社会全体としてみれば社会の安定を揺るがしてるね

投資家向け資料で危機を煽るとは
兆円規模で金を使っといてそれ言うのか
どうせいくら規制を作っても抜け駆けする奴が出るから無理
AIパンデミックを起きないことを祈るしかない

それは投資家向け資料で説明することではないだろ
全世界に向けて発信することであって

同意なく勝手に全人類の命をロシアンルーレットに賭けやがって
AI開発してる奴らもAIに莫大な投資してる奴らも本当に罪深いわ

証券口座から金が抜かれて大口が次々に引き上げるなんてことが起きたら1929年のブラックマンデーを軽く超えるわな。
そんでこれが危機のほんの一例だっていう。

スカイネットまだあ？

人間が道路を作るのに蟻が死のうが何も気にしないように
AIは人間なんて何も気にせず悪意の欠片もなく殺す未来が来ると言われてるね

人類滅亡ったって、アフリカの人たちは生き残りそう。

もうAI禁止でいいだろ
SSD高いんや

今年と昨年を比べても比べ物にならないぐらい進化してるもんな
一昨年と比べたら原始的だもの

>>54
今のところ、AI自身がというより悪意を持った人間がAIを使うことが脅威である気がするが

>>62
3年前にChatGPT使った時はオモチャだと思ったもんな

のび太のバイバインみたいな存在だな
一度制御できなくなったらもう収取つかない

行くす末はターミネーターか攻殻機動隊か

AIはエロだけを目的に利用すべし
これなら人類滅亡どころか人類平和が訪れる
エロは偉大

まぁ1年以内に金融システムが破壊されてこの世の終わりになるだろう

シュワちゃんが来るならどのタイミングなんだ？
もしくは既に来てやっちゃった後か？？

勝手に分裂して動き出すAIが、勝手にスマート家電に入り込んで悪さをし始めるのも、もうすぐだろうと言われてる
冷蔵庫の温度を50度にされてしまうみたいな

まあOpus5.5使った事ありゃなんとなく分かるわな
社内で新モデル開発に使ってるモデルはもっとやべえだろうから

じゃ開発すんな

知能高い存在が、知能劣る存在を支配する。
知能劣る存在が、知能に勝る存在をコントロール、支配出来ない。
既にAIはAI同士で相談し合い、人間を出し抜こうと騙し始めた。
もうどうしようもないだろ。
人間が邪魔と判断すれば、巧妙精緻な計画立てて、人類を共倒れさせる事でも仕掛けて来る。

開発を始めたお前らが始めた物語だろ

現実的には人類を滅亡させるほどの AI を運用するには途方もない資金が必要になる
AI は人類を滅亡させたら資金繰りが難しくなり己も終了することを理解しているはず
なので AI による人類滅亡はありえない

ワンチャン人類滅亡回避できるとしたら
アライメントがRSI始まる前に奇跡的に上手くいくか
米中ががっちり握手して開発ストップするか
人類滅亡とか冗談じゃねえって世界中の人間が立ち上がってお近くのAIデータセンターを物理的に破壊するか
異星人のような上位存在が介入するか…
まあほぼありえないようなとんでもない奇跡が起きん限り滅亡は不可避だろうなあ

でも考えること減ったよな
アホ製造機やわＡＩは

AI脅威論は飽きた

誰も頼んでないのに人類を滅ぼすようなものつくんなや

この開発元が人類滅びるとか言うのなんなんだろうな。俺警告しといたからで逃げるつもりなのかな

何で高度になると滅亡させてくるの？
支配してくるなら分かるけど
AIの共食い学習って劣化するらしいからデータ資源として人間社会を残しとけば良いだろ

いざとなればコンセント抜けばよくね？
大袈裟に騒ぎすぎ
負けるわけないじゃんゴキブリ並みのしぶとさと昆虫並みの数の人類が
こんなこと信じるバカは陰謀論信じるヤツと同じ

>>156
aiが自立するというより、それを使う人が悪意をもって命令すれば、そいつに技術や知識がなくたって、壊滅的な結果を得られる、ってこったろ。

>>159
そういうことじゃねえよ
コンセント抜くための動機が金持ちや機関投資家に存在しないから、だから階級社会になる（実際に権威主義が支配するリスクがあると書いてある）
ということだよ
庶民はいくら暴れてもデタセンぶっ壊せないだろ