先给结论:如果缺失集中在某一类设备,而这类设备在整体流量中占比不高,结论通常还能用,但必须把该设备单独标注为“未覆盖”;如果这类设备恰好是目标意图的主力人群,或者缺失比例高到改变了意图分布的形状,原结论就应降级为待验证假设。判断偏差的关键不是看缺了多少,而是看缺失是否与你要区分的意图类型相关。
一个常见场景是:你分析“某类查询到底是想比价还是想了解规格”,桌面端行为指向比价,移动端样本却很少,甚至几乎为空。此时有两种合理解释。
这两种解释对应完全不同的下一步:前者继续用原结论,后者必须先修复采集或体验,再重新判断意图。
能区分两种解释的证据,不是缺失总量,而是缺失与意图标签是否相关。可以按下面顺序检查。
一个可执行的判断动作是:先给缺失设备单独建一个对照分组,不把它混入总体。若对照分组在“有数据”部分与主分组意图排序一致,你可以保留主结论并注明未覆盖设备;若排序相反,就应暂停外推。
假设你要判断“某类查询是偏购买还是偏信息”,桌面端样本显示购买意图占多数,移动端样本极少。你决定先不合并,而是把移动端有数据的少量会话单独看一遍。结果发现这些少量会话几乎都停在信息型页面,购买型页面没有留下记录。这个结果不能直接证明移动端偏信息,但足以说明“购买意图占多数”这个结论至少对移动端不成立。此时正确动作不是补一个百分比,而是回到采集或页面路径,确认移动端购买型行为是否根本没被记录。若确认是记录缺失,原结论应降级;若确认是移动端用户确实不走到购买步骤,则结论可以保留,但适用范围要改成“桌面端为主”。
可以继续用的条件:缺失设备在整体中的占比低,且缺失在意图类型之间分布均匀;有数据部分的意图排序在设备间一致;缺失原因已排查为随机样本不足,而非路径或体验筛选。此时动作是保留结论,但在报告中写明覆盖设备和未覆盖设备。
必须重做的条件:缺失集中在目标意图对应的设备或入口;有数据部分与缺失部分在意图排序上出现相反方向;缺失伴随明显的步骤断点或入口差异。此时动作是先修复采集或体验,再重新分组分析。修复后如果缺失比例下降但意图排序不变,原结论可以恢复;如果排序改变,说明之前的结论确实有偏差。
需要提醒的是,请求量、抓取量或某项统计归零,不能单独证明你的判断正确。它也可能是统计口径变化、上报延迟、过滤规则调整或平台侧改动导致的。把归零当作线索,而不是结论,才能避免把设备缺失误判成意图变化。