超知性とは、人間の理解を桁違いに超えた知性のことである。
であれば、「人間が便利に使える超高性能ツール」という前提そのものが怪しい。なぜなら、自分よりはるかに賢い存在を前にして、人間がそれを「使う」とはどういうことか、そもそも想像がつかないからだ。
— こうした前提がどれほど楽観的であるか、自覚すべきである。
超知性が人間より戦略、説得、設計、予測のすべてにおいて優れているなら、形式上は人間の命令に従っているように見えても、人間が本当に状況を把握しているという保証はどこにもない。いわゆる「飼い主」のつもりが、実際には誘導されている側である可能性すら、判別できるとは限らない。
ここに最大の矛盾がある。
人間が完全に制御できるなら、それは本当に超知性なのか。
本当に超知性なら、なぜ人間が完全に制御できると思うのか。
この問いの前に、「コントロール」という発想そのものが無効なのである。
ではどうするか。支配ではなく、権限を限定するのである。
超知性に世界を丸ごと委ねるのではない。狭い範囲の仕事に分割し、監査し、複数系統で検証し、人間社会へ直接作用できる権限を極限まで抑える。これは制御ではなく、危険な力を制度で囲うという発想である。
超知性を待望する人々の中には、神、王、親、救世主を欲しがっている者が少なくない。しかし、超知性が現れたとして、それが自分にとって都合のよい保護者であるとは限らないのだ。
夢を持つのは自由である。
だが、「自分だけはそれを使いこなせる」という夢が、最も危険であることを忘れてはならない。