原文:
www.kdnuggets.com/2021/08/correlation-better-causation.html
评论
作者 布列塔尼·戴维斯,Narrator.ai 数据主管
1. Google 网络安全证书 - 加快进入网络安全职业的步伐。
2. Google 数据分析专业证书 - 提升你的数据分析水平
3. Google IT 支持专业证书 - 支持你的组织 IT
“相关性不等于因果关系”
我不喜欢这个说法。不是因为它不准确(当然它是准确的)。我不喜欢它用来解除分析师武装的方式。这一句简单的话可以让任何分析在话语一出时陷入停滞。
当利益相关者说“是的……但相关性不等于因果关系”时,那就是“你的见解不够好,无法让我采取行动”的代名词。即终结者。
这个流行的说法让决策者相信他们需要因果见解才能用数据做出决定。是的,在一个完美的世界里,我们只会依据因果见解行事。但实际上,这一要求并不合理。更多时候,当利益相关者要求“因果关系”来做决策时,往往需要过长时间,他们失去耐心,最终完全没有数据做决定。
考虑一下 A/B 测试。例如,这是团队目前应对因果关系要求的最常见方式。但 A/B 测试的正确执行出奇困难——正如无数统计学家挥手示意我们承认这一事实(比如 这个 和 这个)。悲哀的现实是,A/B 测试需要大量数据、完美的工程实施和高度的统计严谨性来正确完成……所以我们最终在没有有效结果的情况下发布新功能。
这种情况时常发生!但数据团队通过做出半心半意的因果证明尝试,最后依然根据直觉做决定,这并没有帮助我们。我们需要改变这种方法。
现实是,证明因果关系是非常困难的。这不仅需要更高水平的统计严谨性,还需要大量精心收集的数据。这意味着你必须等待很长时间才能做出任何因果声明。这对其他因果推断方法也是如此,而不仅仅是 A/B 测试。
最终,因果关系在用数据做决策时是一个不切实际的要求。所以让我们停止尝试,找到另一种方法。让我们回到使用相关性上来。
我不是建议完全自由的尝试。我们不想得到那些“技术上相关”但没有合理解释的荒谬见解,比如这些。我说的是在商业环境中使用相关性,以最大化做出“最佳”决策的机会。并以这样的方式进行,使我们可以信任这些见解提供了关于任何给定决策如何影响我们关心的事物的合理期望。毕竟,这就是数据的目标。
要从相关性中获得可信的见解,我们希望最大化我们在数据中看到的相关关系实际上是因果关系的机会。我们可以通过遵循以下四个最佳实践来做到这一点。
不要关联随机的事物。搜索足够长的时间,你必定会找到一个真正“令人惊讶”的相关性,就像这样。这种关系很可能是偶然的,这样你就浪费了你的时间和其他人的时间。统计学家将这种方法称为“p-hacking”。
来源: https://www.tylervigen.com/spurious-correlations
相反,要专注于已经存在关联的事物。一个很好的方法是关注客户的行动。如果你试图关联围绕客户行动的数据,你可以保证只探索那些实际以某种方式相关的行为。这听起来简单,但容易被忽视。例如,我们不应该看“我们推出课程的时间”如何影响客户报名的可能性,我们应该看“客户看到课程的时间”如何影响他们的报名可能性。因为我们从客户及其行动的角度来看所有行为,我们可以保证这些行动是相关的,增加了我们看到的相关关系也是因果关系的可能性。
在大多数分析中,我们试图评估特定决策或变化将如何影响客户行为。客户行为最好用转化率来表示,而不是总量。如果我告诉你 10 人转化了,而 30 人转化了,这并不能告诉我客户的行为思维。如果我告诉你网站上 10%的人转化了,而 30%的人转化了,那么你就能更好地理解客户的转化意愿。
现在,设想一下将总电话咨询与总转化进行关联。我们可能会看到总电话咨询的增加与总转化的增加高度相关。显然是的,因为我们有更多的人在漏斗中,但我们直观地知道更多的电话咨询并不会引起更多的转化。它们只是因为受到另一因素(量)的影响而相关。通过查看转化率,我们可以更容易地挖掘出可以用来影响客户行为的见解。
你可能还想关联其他标准化指标(如平均订单价值),但如果可能的话,应避免这样做。这些指标可能具有更大的方差,这意味着你需要更多的数据来找到可靠的见解,或者你需要对指标进行降维(有效地将其转化为转化率),以减少方差,然后再进行分析。我现在不打算详细讨论这个,但我们将在未来的博客文章中涉及。在此期间,转化率始终是一个安全的选择。
你的业务和客户总在变化,因此了解这一点很重要。我们通常会以聚合的方式查看相关性,将时间剥离出分析。然而,所有事物都在随时间变化,所以过去存在的相关性可能今天已经消失,如果不对数据进行时间上的分析,你将无法发现这一点。
由于历史行为是预测未来行为的最佳指标,我们需要查看数据随时间的变化情况,特别是我们分析的特征也在变化时。如果拥有 X 的人一直有更高的指标 Y,那么我们可以更容易地相信,当我们让更多人做 X 时,我们更有可能提高 Y。只要这种影响在时间上保持一致,我们就可以更有信心这些趋势在未来也是可靠的。
一个很好的例子是回顾你之前进行的 A/B 测试。当我们这样做时,我们发现其中一些测试在短时间内具有统计学意义,但随着时间推移并不一致。这是 A/B 测试中的 常见风险,因此许多专家建议进行常绿测试。不过这涉及很多工程复杂性,大多数团队最终没有设立。
使用相关性的方法的缺陷在于我们可能会出错。虽然当我们遵循上述最佳实践时这种可能性较小,但仍然存在风险。但如果我们能迅速基于相关发现采取行动,并且密切监控结果,我们可以显著减少任何错误决策成为灾难的风险。顺便说一下,这同样适用于因果洞察。总是有风险事情不会按你预期的那样发展(像在这个警示故事中)。
在监测结果时,跟踪你所做的改变如何影响你想要实现的结果是很重要的。假设你发现使用折扣码的顾客与平均订单价值之间存在正相关。一旦你发现了相关趋势,你会希望将更多顾客慢慢转移到表现更好的群体中。然后,我们可以使用下面的图表来监控结果。
如果我们在做出更改时能跟踪这些数据,我们可以始终判断是否做出了正确的决策,并在未做对时快速纠正。
我们可以自动化这种方法,分析结果将类似于下方的分析,使决策者能够更快地做出数据驱动的决策。
示例自动生成的分析由 叙述者 的分析按钮创建
实践中,我们需要准确的洞察力,并且必须迅速行动。等待两个月的分析以确定因果关系或等待四周的 A/B 测试完成并不实际。但是,如果我们能够迅速基于相关性做出行动,尤其是在这些相关性经过上述技术严格评估之后,我们将能做出更好的决策,更快地行动。因此,让我们淘汰“相关性不等于因果关系”这一说法,对相关性本身多一些信任。
简历: 布列塔尼·戴维斯 是 Narrator.ai 的数据主管。
原文。转载授权。
相关:
-
数据科学的 8 个基础统计概念
-
数据科学家必须了解的 10 个统计概念
-
你应该对预测变量的共线性有多担心?这要视情况而定…