专题篇章 · AI 产品心理学:设计用户的感受

算法厌恶:AI 犯一次错,就被永久拉黑

Dietvorst 实验:人看到算法犯一次错就弃用,哪怕它整体比人准。先投票亲测自己的偏心,再玩归因翻译器和微调权开关,看弃用率仪表怎么被四个杠杆拉回来

本页解决的问题

先给结论

「算法厌恶:AI 犯一次错,就被永久拉黑」要解决的关键问题是什么?

Dietvorst 实验:人看到算法犯一次错就弃用,哪怕它整体比人准。先投票亲测自己的偏心,再玩归因翻译器和微调权开关,看弃用率仪表怎么被四个杠杆拉回来

判断标准

把品味变成产品可重复的行为。 有用的结果不是一句“我觉得更好”。它应该是一条看得见的规则、一个小例子,以及判断体验何时低于标准的方法。

下一步

记录一个前后对比,让别人不用听解释也能看懂质量线。

常见误区

表面更精致了,却没有减少用户的不确定感。

动手 · 下个季度,你听谁的

你是销售 VP,手上有两个销量预测来源,上季度它俩犯了一模一样的错:同样的数字、同样的原因。点你下季度打算继续用的那个。

同样的错,你原谅哪个 投一票
这题没有标准答案,凭直觉点,点完看你和实验里大多数人一不一样
人 · 分析师老周
👨‍💼老周
跟了你三年的销售分析师
上季度预测华东区销量 5,000 万,实际 4,400 万,高估了 12%
复盘会上他说:竞品突然降价,这个真没料到。
AI · 预测系统
🤖SalesCast AI
用了两个季度的预测系统
上季度预测华东区销量 5,000 万,实际 4,400 万,高估了 12%
系统日志显示:竞品降价数据未纳入本次预测模型。
这个偏心有名字 · Dietvorst 的实验

宾大沃顿商学院,2015 年。Dietvorst、Simmons 和 Massey 让被试预测学生的学业表现,可以自己预测,也可以交给统计模型,预测得准有奖金。关键设计:先让一部分被试亲眼看到模型犯错。结果,看过模型犯错的被试大面积弃用模型,宁可用自己更差的判断,哪怕数据摆在眼前:模型的整体成绩比人高一截。论文标题就叫 Algorithm Aversion,算法厌恶。

人们不是嫌算法不准,是嫌算法犯过错。准不准是统计问题,犯没犯过错是记忆问题,用户拿记忆做决定。
动手 · 归因翻译器:这句话在说人还是说 AI

偏心的根子在归因方式:同一种错误,用户脑子里给人和给 AI 记的账本不一样。下面六句用户的内心独白,判断每句是在评价人类同事还是AI。判完六句,三个心理根源自己浮出来。

六句独白,判断评价对象 0 / 6
每句点「说人」或「说 AI」,判完看归因规律
解药实验 · 给一点点控制权,厌恶大幅消退

Dietvorst 团队 2018 年接着做了后续实验:还是那个会犯错的模型,但这次允许被试微调模型的预测值,哪怕只允许改一点点。左边是被试看到的界面,右边是愿意用模型的人数比例,亲手切换两种设定。

微调权实验:两种设定切换 切一切
forecast.example.com
学生 #47 的学业百分位预测
模型预测62
你的调整62
本设定下模型结果为最终值,不可修改。
选择用模型的被试32%
宁可自己来的被试68%
动手 · 弃用率仪表盘:四个杠杆挨个拨

把实验搬回你的产品。场景:AI 报销审核助手上线一个月,刚在一批新用户面前算错了一笔账。仪表盘显示这批用户的预期弃用率,右边四个工程杠杆全是你学过的开关,挨个拨开,看指针怎么动,每个开关的原理写在里面。

首错之后:弃用率还能抢救多少 0 / 4
拨动右侧开关,左侧弃用率当场变;四个全拨开看还剩多少
这批用户的预期弃用率58%
首错已发生,算法厌恶全额生效:过半用户打算回去用 Excel。
当前状态:AI 算错一笔差旅费,用户在只读结果页里干瞪眼,改不了、撤不了,问客服说「模型偶尔会这样」。
选一选 · 刚被 AI 坑过的用户,先给他什么
用户刚被 AI 的错误坑了一次,哪个动作最能救回他? 单选
选错也有解释,选到对的为止
A弹窗道歉:「非常抱歉给您带来不便,我们的模型仍在持续优化」
B发放补偿:送他一个月会员,表达诚意
C让他亲手改:错误处一键修正,系统记住这条规则并展示「已记住,下次生效」
D技术升级:连夜换上更强的模型,用准确率把信任赢回来
别忘了反方向 · 自动化偏见

算法厌恶有个反向的孪生兄弟:自动化偏见。另一批用户会无条件接受 AI 输出,连显错的都照抄,第 5 课讲过全信酿成的事故。同一个产品里两种人都有:厌恶者需要控制权和稳定性,盲信者需要摩擦和警告。信任校准是双向工程,只往一头使劲,另一头就出事。

本节要点

容错率不对称:人的错记给情境,AI 的错记给能力。同样的错,人被原谅,算法被弃用,哪怕算法整体成绩更好。

解药是控制权:2018 年的后续实验里,仅仅允许微调,用模型的人数翻倍,而且多数人几乎没动那个滑块。要的是权利,用不用另说。

首错的位置决定生死:新手期犯错触发弃用,老用户期犯错只触发吐槽。新用户走最稳的链路,实验性功能只对老用户开。

同一个坑只能掉一次:用户纠正过的错误要进记忆并展示「已记住」,第二次在原地翻车,厌恶叠加失望,基本救不回来。

内容来源:newwebplay AI「AI 产品心理学」专题原创;算法厌恶实验出自 Dietvorst, Simmons & Massey, Algorithm Aversion(2015)与 Overcoming Algorithm Aversion(2018)。

从「动手 · 下个季度,你听谁的」把感觉变成判断

「你是销售 VP,手上有两个销量预测来源,上季度它俩犯了 一模一样的错 :同样的数字、同样的原因。点你下季度打算继续用的那个」指出,AI 降低了做出“能用”成品的门槛,读者真正需要练的是看出哪里不对,并把感觉说成可以执行的要求。

观察用户的下一步,而不是只看表面

「宾大沃顿商学院,2015 年。Dietvorst、Simmons 和 Massey 让被试预测学生的学业表现,可以自己预测,也可以交给统计模型,预测得准有奖金。关键设计:先让一部分被试 亲眼看到模型犯错 。结果,看过模型犯错的被试大面积弃用模型,宁可用自己更差的判断,哪怕数据摆在眼前:模型的整体成绩比人高一截。论文标题就叫 Algorithm Aversio…」可以转成几个可观察的问题:用户是否知道现在发生了什么,是否知道下一步做什么,出错或空白时能否恢复,以及信息层级是否让重要内容先被看见。

漂亮不等于容易用

把「同一个坑只能掉一次: 用户纠正过的错误要进记忆并展示「已记住」,第二次在原地翻车,厌恶叠加失望,基本救不回来」用在第二个页面或流程上,记录一个具体犹豫点和一个改动后的用户动作;能被观察到的变化,才是体验改善。

从「动手 · 下个季度,你听谁的」走到「这个偏心有名字 · Dietvorst 的实验」

「动手 · 下个季度,你听谁的」先把问题落在「你是销售 VP,手上有两个销量预测来源,上季度它俩犯了 一模一样的错 :同样的数字、同样的原因。点你下季度打算继续用的那个」上;到了「这个偏心有名字 · Dietvorst 的实验」,讨论继续推进到「宾大沃顿商学院,2015 年。Dietvorst、Simmons 和 Massey 让被试预测学生的学业表现,可以自己预测,也可以交给统计模型,预测得准有奖金。关键设计:先让一部分被试 亲眼看到模型犯错 。结果,看过模型犯错的被试大面积弃用模型,宁可用自己更差的判断,哪怕数据摆在眼前:模型的整体成绩比人高一截。论文标题就叫 Algorithm Aversion,算法厌恶」。两段连起来,重点就不只是记住一个结论,而是看清它成立所依赖的条件。

把这条判断带到下一个场景

评估体验时,把抽象的“好看”或“顺手”换成用户动作:他是否看懂状态、找到了下一步、能从错误中恢复,并且愿意继续使用。

  • 「动手 · 下个季度,你听谁的」:你是销售 VP,手上有两个销量预测来源,上季度它俩犯了 一模一样的错 :同样的数字、同样的原因。点你下季度打算继续用的那个
  • 「这个偏心有名字 · Dietvorst 的实验」:宾大沃顿商学院,2015 年。Dietvorst、Simmons 和 Massey 让被试预测学生的学业表现,可以自己预测,也可以交给统计模型,预测得准有奖金。关键设计:先让一部分被试 亲眼看到模型犯错 。结果,看过模型犯错的被试大面积弃用模型,宁可用自己更差的判断,哪怕数据摆在眼前:模型的整体成绩比人高一截。论文标题就叫 Algorithm Aversion,算法厌恶
  • 「最后的要点」:解药是控制权: 2018 年的后续实验里,仅仅允许微调,用模型的人数翻倍,而且多数人几乎没动那个滑块。要的是权利,用不用另说

最后的「最后的要点」把讨论落到「解药是控制权: 2018 年的后续实验里,仅仅允许微调,用模型的人数翻倍,而且多数人几乎没动那个滑块。要的是权利,用不用另说」。回看这条线索时,最值得保留的是:当输入、规模或风险改变,哪些判断需要重新做一遍。

标记为已学完 阅读进度会自动记录
← 上一篇下一篇 →

继续阅读

同一条线上的下一篇。

文章讨论

读到这里,留下一个判断。

把刚想明白的地方、还没想通的问题,留给下一位一起学习的人。

正在讨论 算法厌恶:AI 犯一次错,就被永久拉黑 AI 产品心理学:设计用户的感受
3条讨论文章讨论 · 与共学社区同步
在共学社区查看
AM
Asha Morgan内容编辑
观点实践记录

我把这篇文章里的一个判断改写成了今天可以验证的小实验。比记住结论更有用的是,知道下一步要观察什么。

文章讨论7 有帮助
LH
Lin Harper独立开发者
观点观点

读完以后我先回头找它成立的条件,而不是直接把方法搬进项目。这个顺序让后面的取舍清楚很多。

文章讨论5 有帮助
KM
Kiki Moore产品运营
问题问题

如果把这个判断放到真实工作里,最先需要补的约束是什么?我想知道从阅读到第一次实践之间,哪一步最值得先做。

文章讨论4 有帮助