先查分母是否在所有分组里都代表同一批访问或同一批页面。总体结论与分组结论相反,最常见的原因不是数据造假,而是总体用了A分母(例如全部会话),分组用了B分母(例如有曝光的页面),两边比较的不是同一件事。此时不要急着保留或推翻结论,先把分母口径写清楚,再决定是改写结论、保留分组洞察,还是退出这次分析。
网站优化诊断里,总体通常来自一个汇总视图,分组通常来自另一个筛选条件。若汇总视图包含未登录、爬虫、站内搜索页或零曝光页面,而分组视图已经把这些排除,两个数字天然不可比。判断方法很直接:把总体按同一筛选条件重新拉一次,看差异是否消失。如果消失,原结论属于口径错位;如果不消失,才进入下一层排查。
这里有一个假设例子。假设总体转化率是2%,按设备分组后移动端3%、桌面端1%。若总体分母是全部会话,而分组分母只统计有产品页浏览的会话,那么总体被大量无产品页浏览的会话拉低。把总体限制为同样有产品页浏览的会话后,若总体变成2.1%,说明分组结论成立,只是总体口径太宽;若总体仍是1.2%,说明分组内部还有别的筛选在起作用。
保留分组结论的前提是:总体和分组的分母经过核对后可以对齐,且分组差异在时间上稳定。此时可以把总体结论降级为背景,把分组结论作为下一步动作的依据。
改写结论的前提是:分母口径不同,但两组数据各自都有用。例如总体反映全站健康度,分组反映可优化页面的表现。改写方式是明确写出“在全站口径下是X,在可优化页面口径下是Y”,而不是只留一个数字。
退出这次分析的前提是:分母无法还原,或分组维度本身混入了多个变量,例如设备分组同时混入了流量来源差异。此时继续调参只会增加假阳性,应回到数据采集层重建口径。
第一种解释是分母对象不同。核对动作:导出总体和分组的原始行数,比较去重后的会话ID或页面URL数量。结果若不一致,先统一对象再比较。
第二种解释是分组内样本被截断。核对动作:检查每个分组的最小样本量,以及是否存在某个分组只覆盖部分日期。结果若发现某组只有三天数据,而总体覆盖三十天,分组结论就不能直接与总体并列。
第三种解释是汇总层做了额外过滤。核对动作:在站内统计工具里查看汇总视图的筛选条件,确认是否默认排除了内部IP、特定目录或低质量来源。结果若发现汇总层有隐藏过滤,分组结论可能才是更接近真实用户的那一边。
具体动作是:把总体按分组所用的同一条件重新计算一次,生成一张对照表,列出总体原始值、总体统一口径值、各分组值。这个动作的结果直接决定下一步:若统一后总体与分组方向一致,保留原分组结论并进入单变量验证;若统一后方向仍相反,说明存在真实的组间差异,应把分组作为新假设而不是错误;若统一后总体和分组都无法稳定复现,退出本次诊断,先修复数据采集或筛选逻辑。
需要说明的是,第三方估算流量、搜索引擎报告和站内统计的口径本来就不同。请求量或抓取量归零也不能单独证明某个处理正确,它可能只是采集延迟、过滤规则变更或视图切换的结果。把分母查清楚,比争论哪个数字更真更有用。