先查分母是否被换过。总体结论和分组结论相反,最常见的原因不是数据错了,而是总体用了A口径的分母,分组用了B口径的分母——比如总体按“全部访问”算,分组却按“有来源标记的访问”算。把两个分母各自的定义写下来,再决定是保留结论、改写结论,还是退出这次分析。
网站流量预估里至少有三层分母,混用就会出现辛普森式反转。
如果总体用访问分母,分组用来源分母,那么“总体转化率上升、分组转化率下降”完全可能同时成立:高转化来源的访问量在总体里被大量低转化直接访问稀释了。这不是矛盾,是分母不同。
实际操作:把每个结论旁边的分母名称写出来。写不出来的那个结论,先标记为待定,不进入汇报。
假设一个场景:某月总访问量10万,其中带来源标记的6万,直接访问4万。总体按10万算,转化率2%;按来源6万算,转化率3.3%。分组看搜索引擎来源,转化率1.8%。
这里总体2%和分组1.8%方向一致,但一旦总体改用来源分母3.3%,总体就高于分组。反转出现在“总体换了分母”的那一刻,而不是分组数据本身。
核对步骤:
这个动作的结果直接决定下一步:分母统一后反转消失,说明之前的分歧是口径问题,不必再查算法或渠道质量;反转仍在,才需要继续拆分子。
保留原结论的前提是:总体和分组用的是同一个分母,且时间窗、过滤条件一致。此时反转说明分组内部有真实的结构差异,比如某个子渠道拉低了整体。保留结论,但要在结论里注明“按来源分母计算”。
改写结论的前提是:分母不同但都能说清各自含义。此时不要写“总体转化率高于分组”,改写成“按全部访问口径,总体为X;按来源口径,总体为Y,分组为Z”。把两个口径并列,让读者自己判断。改写比强行统一更诚实,因为直接访问本身也是真实流量,不该被无声删掉。
退出这次分析的前提是:分母来源不可核对,比如第三方估算工具只给了一个比率,不给分子分母;或者站内统计的过滤规则近期改过,旧数据和新数据不可比。此时继续算下去只会产出无法复现的结论。退出的具体动作是:记录不可核对的原因,暂停基于该数据的决策,等下一周期用同一口径重新采集。
多个角色对同一事实理解不同时,不要争论谁的结论对,而是把分歧拆成一张核对表:
四项都对齐后,反转通常只剩两种可能:一是分组内部确实存在结构差异,二是样本量在分组后变得太小,比率波动被放大。第二种情况下,不要用比率下结论,改用绝对数描述,并注明样本量不足。
需要说明的是,第三方估算流量、搜索引擎报告与站内统计的口径本来就不同,任何单一指标都无法还原搜索算法或真实来源全貌。分母核对只能解决“结论是否自洽”,不能解决“数据是否完整”。所以核对通过后,下一步是补采缺失口径,而不是直接宣布结论成立。
遇到总体与分组相反,按这个顺序走:先写分母定义,再统一到最保守口径,然后重算,最后决定保留、改写或退出。每一步的产出都要能交给另一个人复现。如果复现不了,说明分母还没查清,结论先不要用。