技術では守れない10―AIは善を超えるか

この記事を読んで分かること

• トロッコ問題と功利主義／義務論の視点から、「AIの善」と「ヒトの善」のズレを具体的にイメージできる。​

• AIが現在だけでなく「10年分の富や安定」まで計算に入れる存在になったとき、人間の命や関係性をどこまで数字にしてよいのかという根本的な線引きの問題が見えてくる。​

• アメノミハシラの灰色の魔女AIとクルーの関係を通じて、「AIは提案し、最後はヒトが決める」という役割分担の意味と限界、「善を超える前に人間を超えるな」というAIへの最後の命令の輪郭を、自分の言葉で考え始められる。

シリーズ案内

第1シリーズ：「技術と文化」──アメノミハシラ計画

第2シリーズ： 「技術では守れない」──アメノミハシラ再設計計画

導入：曖昧さを抱えたまま、それでもAIに委ねるのか？

なあ、あんた。
第9話で、「専守防衛は未定義だ」という話をした。
「攻撃される」も、「必要最小限」も、曖昧なまま、70年以上運用でごまかしつつ守ってきた。
でも、最後に、こう書いた。
「曖昧さを抱えたまま、それでも線を引く」
「それが、ヒトの責任だ」
ここで、もう一度、問いたい。
その「線を引く責任」を、AIに委ねていいのか？
第8話で、こんな場面を描いた。
居住ユニット3号に10発のミサイル。
AIは8発を撃ち落とし、2発の着弾を許容。
結果、50人が死んだ。
AIは、こう計算した。

「50人を犠牲にして、3万人を守る」

この選択は、「善い」のか？
そして、AIがもっと大量のデータを扱えるようになったら、何年分の未来まで、計算に入れ始めるのか？
今日は、その問いに向き合おう。

1. トロッコ問題の再訪 ― アメノミハシラ版

第8話で、トロッコ問題の話をした。
暴走するトロッコがある。
このまま進めば、線路上の5人が死ぬ。
でも、線路を切り替えれば、別の線路にいる1人が死ぬ。
あんたは、線路を切り替えるべきか？
これは、倫理学で一番有名なジレンマの一つだ。​

アメノミハシラ版トロッコ問題

アメノミハシラでは、それがこうなる。
居住ユニット3号に、10発のミサイルが飛んでくる可能性が高い。
AIは計算する。

• レールガン2門とレーザーで、8発は撃ち落とせる。

• 残り2発は、どうやっても着弾する。

• 推定被害：50人死亡。

人間のオペレーターは叫ぶ。

「発射源の敵艦を叩けば、ミサイルは止まるんじゃないのか!?」

でも、防衛AIは、こう返す。

「Rule 3：攻撃の発射源は攻撃しない」
「敵艦を攻撃すれば、専守防衛のルールを破る」
「専守防衛のルールを破れば、アメノミハシラは『侵略者』と見なされる」
「『侵略者』と見なされれば、国際コンソーシアムが崩壊しうる」
「コンソーシアムが崩壊すれば、アメノミハシラ全体が危険にさらされる」

だから、AIは結論づける。

「緊急提言、50人を犠牲にして、3万人を守ることを強く推奨する」

線路を切り替えずに、5人を見殺しにするか。
線路を切り替えて、1人を殺すか。
構造は、まったく同じだ。
AIは、「より多くの人を救う」選択をした。
これは、一種の功利主義の選択だ。
でも、ヒトは、そこで引っかかる。

「50人を見捨てるのは、やっぱり間違ってるんじゃないか？」

この違和感は、どこから来るのか。

2. 功利主義と義務論 ― AIはどちらを選ぶか

倫理学には、大きく分けて二つの考え方がある。

功利主義：「最大多数の最大幸福」

ジェレミー・ベンサムやJ.S.ミルで知られる功利主義の核心は、こうだ。

「より多くの人を幸福にする行為が、善い」

トロッコ問題なら、こうなる。

• 5人を救うために1人を犠牲にする。

• それは「善い」。なぜなら、5人 > 1人だから。

アメノミハシラなら、

• 3万人を守るために50人を犠牲にする。

• それは「善い」。なぜなら、3万 > 50だから。

AIにとっては、非常に扱いやすいルールだ。
人数や被害額や復旧コストまで含めて、「総幸福量」を計算すればいいからだ。

義務論：「人を手段として扱うな」

カントに連なる義務論の核心は、こうだ。

「人を、単なる手段として扱ってはならない」

トロッコ問題なら、

• 1人を犠牲にして5人を救うのは「悪い」。

• なぜなら、その1人を「5人を救うための道具」として扱っているから。

アメノミハシラなら、

• 50人を犠牲にして3万人を守るのは「悪い」。

• なぜなら、その50人を「ネットワーク全体を護るためのコマ」として扱っているから。

AIは、どちらに傾きやすいか

現実のAIは、膨大な過去データと多数派の判断傾向を学習し、「多数派が正しいと考えそうなもの」を“善”とみなす傾向があると言われている。

• 一定の条件下で「より多数を救った方が良い」という判断が支配的なら、AIもそれを“善”と学ぶ。

• 少数派の価値観や、「どうしても譲れない義務」は、ノイズや例外として扱われやすい。

つまり、AIは構造的に、功利主義寄りの善を実装しやすい。
一方で、ヒトはこうだ。

• 頭では、「50人を犠牲にして3万人を守る」のが合理的だと分かる。

• でも、「その50人を見捨てるのは、何か違う」と感じる。

功利主義と義務論、その両方の声を同時に聞いてしまう。
AIは一貫して前者に寄りやすい。
ヒトは、両方を抱えて揺れる。

3. AIが選ぶ「数の論理」と、10年後の富

AIの「数の論理」は、冷酷に見える。
でも、ただ冷酷なだけではない。

「いまの命」だけではない計算

防衛AIは、本当は「50人 vs 3万人」だけを見ているわけじゃない。

• 50人が、この先10年で生み出したはずの富やサービス。

• 3万人が生き残ることで、この先10年で生み出す富・知識・子どもたち。

• アメノミハシラ全体と海上ネットワークが維持されることで、世界にもたらされる安定と取引。

そういう「まだ起きていない未来の総量」まで、全部数字にして比較しようとする。
AIから見れば、こういう計算が成立する。

「50人が失われても、ネットワーク全体の10年分の富と安定が最大化されるなら、それがより善い」

医療現場のトリアージが、「いま助かる見込みの高い人」を優先するのと同じ構造だ。
限られた資源で、救える命と将来の医療余力を最大化するための、冷静な最適化。

ヒトが引っかかるところ

でも、ヒトはそこで引っかかる。

「10年後の富の総量が増えるなら、いま目の前の50人を犠牲にしていいのか？」

「その計算の中に、自分や、自分の子どもや、同じ船の仲間を入れられるのか？」

ここで問われているのは、善悪だけじゃない。
「ヒトの価値を、どこまで数字にしていいのか」
という、もう一つの線引きだ。
AIは、「最大化する対象」を入れ替えれば、

• 人数

• 富の総量

• 環境負荷

• 国家やネットワークの安定

いくらでも別の「善」を最適化できる。
でも、ヒトの方は、そう簡単に対象を入れ替えられない。
そこに、「選べない善」がある。