アルゴリズム嫌悪とは?AI製品の信頼と利用率を高める設計

アルゴリズム嫌悪は、AIが人より正確でも一度の失敗で使われなくなる現象です。2015年の実験を踏まえ、アルゴリズム選好が生じる条件から、修正権限と学習表示でAI機能の利用率を高める方法まで解説します。

アルゴリズム嫌悪(Algorithm Aversion)とは何ですか?

鍵となるのは精度そのものより、誤りを目にした後の反応です。ディートヴォルストらが2015年に報告した実験では、参加者はまず、アルゴリズムの予測が人より優れていることを確認しました。それでも、アルゴリズムが一度間違うのを見ると、使うのをやめ、自分やほかの人の判断に戻りました。人が間違うのを見ても、同じほど信頼は失いませんでした。同じ失敗でも評価が異なるのです。AI機能を製品に組み込むスタートアップにとって、この非対称性はコンバージョン率と継続利用に直接影響します。モデルの精度を1ポイント上げるより、最初の誤りへの対応が継続率を大きく左右します。

目次

推薦の精度を上げたのに離脱が増えた事例

助言を通じて、韓国のあるB2B SaaS企業の事例を調べたことがあります。営業担当者に「まずこの見込み客に連絡してください」と推薦する機能を備えた製品でした。

モデルの入れ替えで推薦の精度は上がりました。オフライン評価では、上位10件の推薦について、コンバージョン予測の精度が目に見えて改善しました。ところが、導入から4週間後には機能の利用率が下がりました。担当者は推薦リストを開かず、以前のように自分で見込み客を選んでいました。

ログを調べると、あるパターンが見つかりました。推薦の1位に、すでに解約した顧客や担当区域外の案件など、明らかに不適切な見込み客が一度表示されると、その担当者の機能利用率が急激に下がっていました。全体の精度は向上していても、目立つ誤りが一件あるだけで信頼が損なわれたのです。

インタビューで聞いた言葉が核心を突いていました。「自分が間違えたなら、なぜ間違えたか分かります。でも、これが間違えたときは理由が分からないので、次も間違えそうなんです」。この一言に、アルゴリズム嫌悪の仕組みが表れています。人の誤りは文脈から説明できます。アルゴリズムの誤りは説明されないまま残り、その能力全体への評価につながります。

結局、この会社はモデルをさらに改修せず、推薦理由を一行添えました。担当者が推薦順をドラッグして変えられるようにし、除外した見込み客については理由を選べるようにしました。利用率が回復するまでにかかった時間は、モデルの入れ替えに要した時間より短いものでした。

ディートヴォルストの2015年の実験の仕組み

「アルゴリズム嫌悪」という言葉は、ディートヴォルスト、シモンズ、マッシーが2015年の論文で用いました。実験の設計は単純で、結果の意味を追いやすいものです。

参加者には予測課題を与えます。たとえば、MBA志願者の入学後の成績を予測する課題です。参加者は、自分の予測か統計モデルの予測のどちらかを選び、報酬を受け取ります。選ぶ前に、一部の参加者にはモデルの成績を、別の参加者には自分の成績を、さらに別の参加者には両方を見せます。

モデルの成績を見た参加者のほうが、かえってモデルを選ばなくなりました。モデルが人より平均的に正確だと分かっていても、そうなったのです。モデルが間違う場面も同時に見ていたことが理由です。完璧ではないと分かると、平均的には優れているという情報の説得力が弱まりました。

背景には二つの要因があります。一つは、人々がアルゴリズムに非現実的な期待をかけることです。人の間違いは許しても、アルゴリズムの間違いは許しません。もう一つは、誤りの原因の捉え方です。人の間違いは一時的なものとして受け流されますが、アルゴリズムの間違いは構造的な限界と解釈されます。

この二つが重なると、「平均的にはより正確だ」という説明は説得力を失います。製品の紹介ページで精度の数字を大きく示しても、ユーザーが最初に遭遇した一件の誤りに勝てない理由です。

アルゴリズムのほうが信頼される場合もあります

アルゴリズムへの反応は、嫌悪だけでは説明できません。ロッグらは、人々が人からの助言よりアルゴリズムからの助言を受け入れやすい条件を報告し、これをアルゴリズム選好と呼びました。その後の研究では、嫌悪と選好を分ける要因として課題の性質が挙げられています。

課題の性質ユーザーの反応例
客観的・数量的な課題アルゴリズム選好需要予測、価格推定、在庫計算
主観的・好みに関わる課題アルゴリズム嫌悪冗談の面白さ、交際相手の推薦
道徳的判断を含む課題強い嫌悪採用見送り、融資拒否、医療上の分類
反復的・低リスクの課題選好または無関心スペルチェック、分類タグ付け

三行目は特に慎重に扱うべき領域です。結果が人の生活に影響する決定では、精度に関係なく、アルゴリズムだけで決めることへの拒否感が強くなります。この領域では、「人が最終決定する」という仕組みを見えるようにすることが、受容の前提条件です。

ここから、製品企画に使える基準が得られます。まず、自社の機能が表のどの行に当たるかを決めます。嫌悪が予想される行なら、最初から人が介入する箇所を設計に入れます。反対に、選好が予想される行なら、自動化の割合を高めても抵抗は小さくなります。

少し修正できるだけで受容率は上がります

アルゴリズム嫌悪を減らす方法として繰り返し確認されているのが、修正権限です。ディートヴォルストらの後続研究では、参加者がアルゴリズムの出力を少しでも調整できるようにすると、利用意向が大きく高まりました。調整できる範囲を狭く制限しても効果が見られました。

調整によって結果が悪くなる場合にも、受容率は上がりました。人が手を加えて精度が下がっても、ユーザーはそのアルゴリズムを使い続けます。自分で制御できるという感覚が受容の条件なのです。

この発見は、そのまま製品設計に生かせます。結果への対応を「受け入れるか、拒否するか」の二択にすると、拒否につながります。「少し直して使う」ことができれば、利用は続きます。具体的には次のような形です。

  • 推薦順をドラッグして変えられるようにする
  • 重みを数段階で調整できるスライダーを設ける
  • 除外リストをユーザー自身が管理できるようにする
  • 自動生成した下書きを編集可能な状態で表示する

最後の項目は、生成AIの機能で特に重要です。完成品として差し出すと、評価の対象になります。編集できる下書きとして示すと、共同作業の対象になります。同じ出力でも、ユーザーの向き合い方が変わります。

学習することを伝えると反応が変わります

近年の研究では、アルゴリズムが学習するという情報を伝えるだけで、受容率が上がることが報告されています。「この機能は利用データを使って継続的に改善されます」と表示した条件では、利用意向が高まりました。

学習を示す表示は、誤りの原因の捉え方を変えます。先ほど見たように、アルゴリズムの間違いは構造的な限界と解釈されます。学習するという情報が加わると、同じ間違いが「まだ学習中だから」と捉え直され、一時的なものになります。人の間違いに向けられていた寛容さが、アルゴリズムにも向けられます。

ただし、実際に改善していることが見えなければなりません。改善をうたうだけで、ユーザーが変化を実感できなければ、信頼はさらに大きく損なわれます。そのため、学習を示す表示を使うときは、フィードバックが反映された結果を見せる仕組みも併せて設けます。ユーザーの修正が次の推薦に反映されたと分かるようにする方法が代表的です。

AIリテラシーも反応を左右します。AIの仕組みをある程度知っているユーザーは、誤りを見ても全面的には拒否しにくい傾向があります。B2B製品なら、オンボーディングでモデルが何を基に判断するかを説明しておくこと自体が、受容率を高める取り組みになります。

製品に取り入れる四つの設計

ステップ1 - 最初の誤りへの対応を設計する

誤りが起こりうる箇所をあらかじめ定めます。確信度の低い推薦には「確信度が低い」と表示し、順位も示します。誤りが起きたときにユーザーが取れる操作を、その画面の中に用意します。

ステップ2 - 理由を一行添える

一行で十分です。詳しい説明をすべて載せる必要はありません。「過去30日間に価格ページを3回訪問」といった根拠があれば、誤りにも文脈が生まれ、構造的な欠陥とは受け取られにくくなります。

ステップ3 - 修正する手段を用意する

受け入れることと捨てることの間に、「直して使う」という選択肢を設けます。修正できる範囲が狭くても効果があるため、過度に複雑な設定画面は必要ありません。

ステップ4 - 改善を見えるようにする

学習するという文言を置くだけでなく、ユーザーの修正が反映された箇所を示します。週次のまとめで「先週の修正12件を反映しました」と伝える方法も使えます。

避けたい反対側の落とし穴:自動化バイアス

嫌悪を減らすことだけに集中すると、逆の問題が生じます。自動化バイアスとは、ユーザーがアルゴリズムの出力を過度に信頼し、検証を省いてしまう現象です。二つのバイアスは同じ製品で同時に現れます。一度間違っただけで機能を捨てるユーザーもいれば、誤った結果をそのまま承認するユーザーもいます。

設計の基準はリスクの大きさです。元に戻せる決定なら自動化を進められますが、元に戻しにくい決定では確認の段階を残す必要があります。一斉送信、決済、契約、削除のように復旧の費用が大きい操作には、アルゴリズムの信頼度が高くても、人による確認を挟むべきです。

スタートアップがこのバランスを見失う典型的な経緯があります。初期には受容率を上げるために自動化と説明を強化します。指標が良くなると、効率を上げようと確認の段階を減らします。そこで一度事故が起きると、信頼が一気に崩れます。アルゴリズム嫌悪が最も強く働くのは、まさにこの場面です。

FAQ

モデルの精度をさらに上げれば、アルゴリズム嫌悪は解消しませんか? 完全には解消しません。ディートヴォルストの実験が示した要点はそこにあります。アルゴリズムのほうが人より正確だと知った参加者も、間違う場面を見ると利用を減らしました。精度は必要条件です。誤りへの対処方法と、自分で制御できるという感覚が受容を左右します。同じ費用をかけるなら、説明や修正の手段に充てたほうが早く効果が出ることが多いです。
ユーザーに修正権限を与えると、結果の品質が下がりませんか? 下がることはあります。研究でも、人が介入すると精度が下がる場合が報告されています。それでも受容率が上がり、機能そのものが使われるようになる効果のほうが大きいのです。誰も使わない正確な機能より、多少間違っても使われる機能のほうが、結果として価値を生みます。修正できる範囲を狭くすれば、品質の低下も抑えられます。
商用利用では「AIが判断した」と明示するほうが有利ですか? 課題の性質によります。数量的な予測や反復作業では、アルゴリズムによる判断だと明示するほうが、かえって信頼を得られます。人の生活に影響する決定や好みが関わる領域では、アルゴリズムだけの判断に対する拒否感が強まります。後者なら、人による確認が入る仕組みも示し、韓国のAI基本法などによる表示義務も別途確認する必要があります。
時間の節約効果はどう測ればよいですか? 機能の精度とは分けて見ます。測る指標は、推薦の受諾率、修正後の利用率、作業完了までの時間、そして機能の再利用率です。受諾率だけを見ると、ユーザーが確認せずに承認する自動化バイアスを成果と取り違えます。修正回数が適度に保たれている状態が、健全に使われている兆候です。
従来の方法と比べて、最も大きく変わる点は何ですか? 意思決定の責任の所在が見えるようになります。人が一人で判断するときは、判断の根拠が記録されません。アルゴリズムと人が一緒に決める仕組みでは、推薦と修正の両方がログに残ります。このログはモデル改善の資料であると同時に、組織内の責任の記録にもなります。受容率の設計がデータ資産の設計にもなるのです。

あわせて読みたい記事