
AIは自信を持って間違える ――出力を現場で検証する3問
AIは、間違っているときほど堂々としています。これが一番やっかいな性質だと、身をもって知りました。
あるとき、組織再編の進め方について壁打ちをしました。問いを設計して、3手で深めて、手ごたえのある答えが出てきた。「変化への抵抗が強い場面では、早期に小さな成功体験を作ることが効果的です」という整理を、翌日の部長への報告に持ち込みました。
部長の反応は「それは理屈としてはわかるが、うちのケースは少し違う」でした。事業部間の力学がある。今の時期は特定の部門が主導権を握りたがっている。そういった事情は、AIには渡していなかった。
答えは正しかった。でも、この現場では使えなかった。
AIの出力が持つ3つのリスク
壁打ちを重ねるうちに、AIの返答には構造的な弱点があることがわかってきました。
「一般化」。AIは汎用的に正しい答えを返します。でもそれは、どの現場にも当てはまる代わりに、あなたの現場には半分しか当てはまらないことがある。「組織変革には小さな成功体験が有効」は一般論としては正しい。でも、今の自分の職場で、今の時期に、今の相手に対して有効かどうかは別の話です。
「自信過剰」。AIは「〜のほうが効果的です」「〜が重要です」と断定的に返すことが多い。その確信の強さは、根拠の強さとは無関係です。もっともらしい言い方で包まれているほど、疑いにくい。
「最新情報の欠如」。AIの知識には時間的な限界があります。制度・組織・市場の直近の変化は反映されていない。「この業界では〜が一般的」という返答が、古い常識である可能性があります。
検証の3問
AIの出力を受け取ったあと、私は使う前に3つを問うようにしています。
「これは自分が知らなかった情報か」
これは自分が知らなかったことか、それとも知っていたことの言い換えか?
知っていたことをきれいに整理してくれただけの答えは、使えるが驚きがない。知らなかった角度が含まれている答えは、慎重に確かめる価値がある。どちらかを判断するだけで、出力への姿勢が変わります。
「自分の現場の事情と合うか」
この答えは自分の現場と合うか。合わない部分はどこか?
「合わない部分はどこか」と問うことがポイントです。全体を採用するか棄却するかではなく、使える部分と使えない部分を分ける。先ほどの組織再編の話であれば「小さな成功体験を作る」という方向性は使えるが、「早期に」という時期感は今のこの職場では合わない、という切り分けができます。
「この答えに反論できるか」
この答えに反論するとしたら、どんな反論が成り立つか? そう聞いたとき、AIはどう返すか?
AIに反論させることで、答えの強度を測ります。強い主張なら反論を跳ね返してくる。弱い主張なら「おっしゃる通り、別の見方もあります」と簡単に翻る。簡単に揺れる答えは、強い根拠を持っていません。
判断は、自分が握る
この3問は、AIを疑うためのものではありません。自分の判断の精度を上げるためのものです。
AIは材料を出す係です。どの材料を使うか、どう組み合わせるか、最終的にどう動くかは、自分が決める。あなたの現場の事情を、いちばんよく知っているのはあなただからです。
「AIが言っていたから」は、判断の根拠になりません。検証を経た上で「自分がそう判断した」という形にすることで、初めて使える知識になります。
おわりに
AIの出力の自信の強さと、その正しさは別物です。一般化・自信過剰・最新情報の欠如という3つのリスクを知っていれば、出力に振り回されなくなります。
検証の3問を持ち歩く。そうすることで、AIは「答えを出す機械」ではなく「素材を出す相手」として機能し始めます。
次回は、この連載の最終回です。壁打ちで生まれた洞察を、消えない形で残す方法を書きます。対話ログをEvergreenに変える、30分の手順です。
あなたの思考OSに、今日の3問(知らなかったか・現場と合うか・反論できるか)をインストールできたら。次回も届くよう、連載をフォローしておいてください。
📖 AIとの壁打ちで思考を深める作法(全4回)
第1回 AIへの最初の1文で、答えの質は決まる
第2回 AIの答えが「正しいけど浅い」ときの、3つの動かし方
第3回 AIは自信を持って間違える ――出力を現場で検証する3問 ← いまここ
第4回 AIとの対話を、30分で「使える1枚」に変える手順(8/11公開)
▶ 前回:AIの答えが「正しいけど浅い」ときの、3つの動かし方
今日の3問は、答えを深めたあとの話です。その手前の深め方(Why深掘り・横展開・現場適用)はこちらに。
https://note.com/rioh_os/n/n6492151148a3
▶ 全4回をまとめて読む:マガジン「AIとの壁打ちで思考を深める作法」
https://note.com/rioh_os/m/m146d1cfce7df
会議や資料が毎回「迷子」になる方へ。姉妹シリーズもどうぞ。
▶ 思考OSの作り方(全5回・完結)
https://note.com/rioh_os/m/mc2e1d17acfee
▶ 論点ドリフトを止める技術(全4回・完結)
https://note.com/rioh_os/m/me85d5368e3da
どこから読むか迷ったら、この1本から。症状から選べるようにしてあります。
▶ 会議も資料も、毎回ゼロから考えていませんか ――「思考OS」入門
https://note.com/rioh_os/n/n226cb0de2fd8
▶ 次に読む:AIとの対話を、30分で「使える1枚」に変える手順
検証まで済ませた洞察を、消えない1枚に変える。連載最終回の30分の手順です。