大数据时代,你应该具备的大数据思维

图灵汇官网

在我们思考问题时,应当尽量避免由于自身的无知而提出一些浅显的问题。

我经常会遇到一些让人失去耐心的问题,比如:

  • 为什么高考状元最后都很平庸?
  • 我上了清华北大,以后可以进入投行吗?
  • 为什么学区房如此昂贵,但学历却不受重视?
  • 为什么一个哈佛毕业生的收入还不如咪蒙?

这些问题在很多场合都引发了广泛的讨论,比如关于学区房和学历的价值。但在我的眼中,这些都是浅显的问题。

为什么会这样呢?因为这些问题都包含了极其低级且不符合统计学常识的错误。具体有哪些错误,我会在后面提到。如果提问者了解一些统计学常识,很多问题根本就不会被提出。要避免犯错,提出合理且科学的问题,就需要掌握一些基本的统计知识。

如果你学过数学、统计学或计量经济学,应该能够理解我说的内容。如果没有,那请花些时间学习一下。

样本偏差

人们习惯于通过很少的观察值得出结论,这样的结论往往存在样本不足带来的偏差。比如,有人说吸烟有害健康,烟民们可能会举出这样的例子:

  • “你看隔壁王大爷,活到90岁,一辈子都在抽烟。张二蛋不抽烟不喝酒,却在30岁时去世。所以,吸烟有害健康,都是胡说八道!”

类似的,有人跟踪了高考状元的职业发展,发现大多数高考状元并未成为杰出人才,从而得出结论:

  • “高考状元最终会走向平庸,高考对于选拔人才毫无意义!”

还有一些人通过几个清华北大的毕业生在北京的生活情况,得出:

  • “清华北大的学历并不比学区房值钱!”

以上这些例子都犯了样本偏差的统计错误,也就是说,考察的样本太少,无法得出可靠的结论。要判断吸烟是否有害健康,需要比较整个烟民群体和非烟民群体的数据;要评估高考状元的未来,需要更多的样本数据;关于学区房和学历的价值,也需要更大的样本量来分析。

相关性

混淆相关性和因果关系是人们犯错的主要原因之一。因果关系意味着A的发生必然导致B,而相关性只是A和B同时发生,但不一定存在因果关系。

例如,暴饮暴食导致胃痛,这是一种因果关系。但名校毕业和赚很多钱,这只是相关关系,而不是因果关系。赚钱不仅仅和学历相关,还受到许多其他因素的影响,如长相、行业、冒险精神等。

因此,提出“为什么一个哈佛毕业生的收入还不如咪蒙”这样的问题,显然是缺乏对多元相关性的理解。正确的思考方式是认识到,名校毕业和赚钱多之间只是相关性,而不仅仅是因果关系。

控制变量

控制变量是指在考察某一因素对事物的影响时,保持其他因素不变。例如,比较名校毕业生和普通大学生的收入时,如果不考虑其他变量,得出的结论往往是不准确的。正确的做法是,假设其他条件不变,比较具有相似背景、努力程度的人群,才能得出有意义的结论。

系统思维

除了样本偏差、相关性和控制变量,还有许多统计学常识可以帮助我们避免错误。例如,假设检验、置信水平等,虽然这里无法详细展开,但理解这三个基本常识已经足以帮助我们避免许多浅显的错误。

学习统计的好处

学会统计,不仅能帮助我们更好地理解数字的意义,还能增强我们的说服力,培养一种与众不同的思维方式,以及像佛陀一样理解因果关系。

例如,当看到新闻报道说某市人均收入为1万元时,学过统计的人会进一步质疑这个数字背后的含义,了解数据的分布情况。此外,在汇报工作中,清晰的数据能够传达更明确的信息,增强说服力。

综上所述,学习统计学能够帮助我们更加理性地看待问题,避免浅显的错误,使我们的思考更加深入和全面。

本文来源: 图灵汇 文章作者: 丁舒熳