选择性偏差
一、它到底是什么
要识别它,先问三个问题:这批数据是怎么来的?谁被算进来了?谁在门口被挡掉了?三个问题里任何一个答不清楚,结论就要打问号。
还有一个要点:筛选可能发生在你看数据之前很久。一个企业只能看到来面试的人,看不到从没投过简历的人;一个平台只能看到留下来的用户,看不到早就走掉的用户。你手上的是「活下来的」「愿意开口的」那一部分,而不是全体。
二、为什么它管用 / 为什么人会这样
人只能对自己接触到的信息做判断,接触不到的部分在脑子里几乎等于不存在。这在认知上叫可得性:你能想起来的,被你当成更常见的。看不到的样本根本不会进入你的回忆,于是你默认「我看到的差不多就是全部」。
还有一个推力是收集成本。要拿到全体数据,往往要花大力气;手边现成的那批数据不要钱。人自然倾向用便宜的、看得见的,替代该有的、全的。
反过来说,这地方有个反直觉的坑:越是认真、越愿意花时间把手头那批数据整理得清清楚楚的人,反而越容易陷得深,因为他把「整理得很仔细」误当成了「样本很完整」。认真用错了地方,比随便看一眼还危险,因为他会更有信心地把偏掉的结论讲给别人听。
三、什么时候会碰到它 / 该用它
- 你手上有一批数据,但说不清它是怎么被收集进来的。
- 一个结论听起来很有道理,可你从没见过反面的例子。
- 你在总结「成功的做法」,却从没研究过用同样做法却失败的人。
- 某个渠道、某个时间段、某群人的声音特别响,盖过了其他人。
- 你要把一个从小样本得出的判断,推广到更大的范围。
四、什么时候它不管用
当你手里的观察就是全部、而且是穷尽的,比如一次全量普查,筛选无从发生,这个视角就派不上用场。当你的目标只是描述被选中的那批人,而不是推广到整体,也不必上纲上线。还有一种误用:把任何结论都扣上「有偏差」的帽子,用怀疑把讨论拖死,既不指认具体偏在哪,也不提出怎么补,这不是分析,是打太极。
五、例子
例子一
分析老用户为什么留下。你能访谈到的都是还在用的人,他们的理由再合理,也解释不了那些默默离开的人为什么不回头。想弄清流失,得主动去找已经走掉的人,而不是把还在的人问得更细。
例子二
二战期间,统计学家沃德研究返航飞机的弹孔分布,发现机翼上弹孔最多。有人主张加固弹孔密的地方。沃德指出,能飞回来的都是机翼中弹还能撑住的,真正致命的是那些没回来的飞机中弹的位置,也就是发动机和驾驶舱附近,那里才该加固。这个例子最能说明:看不到的样本,才是关键。
例子三
你在菜市场认准一家摊子实在,因为你挑的每次都新鲜。其实你每次去都在早上,摊主早上摆的是当天刚到的新货;那些傍晚去买、拿到不太新鲜的顾客,你不会碰到,也不会听见他们抱怨。于是你对这家摊子的印象,正是被「你去的那个时段」筛选出来的。
六、最容易走偏的地方
- 把看得见当成全体:随手可得的那部分,最容易冒充「全部」。
- 以为样本大就放心:一万个有偏的样本,还是偏的。
- 只研究成功者:向成功者学习,却漏掉同样努力而失败的大多数。
- 用「有偏差」当万能挡箭牌:指出偏差,得说出偏在哪、怎么补,否则只是拒绝思考。
- 忘了自己的观察位置:你站在哪里,决定了你能看到谁。
七、怎么把它用起来
- 拿到任何一批数据,先写下它是怎么进来的,判断做对的标准是你至少能说出一条被排除在外的对象,说不出来就说明你还没看懂它。
- 主动去找反面样本,专门研究失败者和退出者,判断做对的标准是你能举出几个和结论相反的具体例子,而不是一个也想不起来。
- 问一句「换个时间段、换个渠道、换群人来问,结论还成立吗」,判断做对的标准是你真的去验了一次,而不是只在心里假设一下。
- 把结论的适用范围写窄一点,明确它只对哪类人、在什么条件下成立,判断做对的标准是这句话里出现了具体的限定词。
- 面对一个特别响的声音,先查它是不是样本里数量最多的那类人,判断做对的标准是你分得清「声音大」和「人更多」。
- 在结论旁边写一小段「我看不到什么」,判断做对的标准是这段话点出了至少一个真实的盲区。
八、它和「幸存者偏差」不一样
幸存者偏差是选择性偏差里最典型的一种,专指只看活下来的、留下来的对象。选择性偏差范围更广,筛选的原因可以是时间、渠道、地点、门槛,不一定是「死活」。差在判据上:幸存者偏差的筛选发生在「最后还在不在」,选择性偏差的筛选发生在「一开始谁被放进来了」。
它和「确认偏差」也不一样。确认偏差是你先有了一个看法,于是专门去找支持它的信息、避开反对的信息,偏在「你怎么挑证据」。选择性偏差是样本在到达你手里之前就已被筛过,偏在「你手上有什么」。一个是主动挑选,一个是被动接收,差在判据上就是:证据是你自己选的,还是你根本就没见过。
九、常问的几个问题
样本小就一定不可靠吗?
不一定。关键看它是怎么被选出来的。随机抽的小样本,可能比一个很大的方便样本更可靠。
怎么知道自己正在被筛选?
问一句「换一群人来问,答案会不会不一样」。会不一样,就说明你看到的不是全体。
所有数据都有偏差,那还能用吗?
能。先用它得到线索,再用别的来源去交叉验证,别让它单独决定结论。
相关
幸存者偏差、确认偏差、可得性启发
一句话收束
先问谁没被你看到,再决定这份结论能拿来看多远。







