先给结论:不要按“已发现/未发现”把页面直接分成实验组和对照组,而要先按可核对的属性做分层,再在层内随机分配处理动作。否则你比较的是页面本身的质量差异,不是处理动作的效果。外链收录工具在这里的作用是提供发现状态的时间切片,而不是替你判定因果。
批量页面里,被发现的那部分往往本来就更占优势:内链更多、上线更早、内容更长、离首页层级更浅。如果直接拿它们和未发现的页面比较,处理动作的差异会被这些先天条件淹没。
更麻烦的是,多个角色对“被发现”的理解可能不同。做内容的人看的是外链收录工具里的状态字段;做技术的人看的是服务器日志里有没有抓取记录;做运营的人看的是站内搜索或后台报表里有没有出现。三者口径不一致时,讨论会变成各说各话。
把分歧转成可核对项目的第一步,是明确一条判定链:抓取记录 → 发现状态 → 索引状态,每一步都记录时间戳和数据来源。只有口径统一后,分组才有意义。
假设你有 400 个批量生成的页面,外链收录工具显示其中约四分之一处于已发现状态。可用的分层变量包括:
做法是:先在每个分层内部,把页面随机分成处理组和对照组;处理组施加你要验证的动作(例如补充内链、调整站点地图、提交单个地址),对照组保持原样。这样两组在分层变量上分布接近,差异更可能来自动作本身。
一个假设例子:把 400 个页面按内链数量分成“0 条”“1–2 条”“3 条以上”三层,每层内各随机取一半施加同一动作。两周后比较各层内处理组与对照组的发现状态变化率。如果只有“0 条”层出现差异,说明动作可能只对弱内链页面有效,下一步应把资源集中到这一层,而不是全站铺开。
保留适用于:分层后处理组和对照组差异稳定,且动作成本低、可批量执行。此时继续按原方案扩大样本,观察跨层是否一致。
改写适用于:分层变量本身解释了大部分差异,说明问题出在页面属性而非动作。例如“0 条内链”层无论怎么处理都变化很小,那要改的是内链结构或页面模板,而不是继续加提交动作。
退出适用于:多个分层内处理组与对照组都没有可区分的变化,且排除了口径不一致、抓取限制、站点地图未更新等干扰。此时应停止该动作,把精力转向其他假设。
注意,站点地图不保证收录,robots.txt 的抓取限制也不等于可靠的索引移除。这些事实会影响你对“未发现”原因的判断,但不能单独证明某个处理动作有效或无效。
不同工具对“已发现”的定义可能不同:有的指进入抓取队列,有的指有过一次抓取,有的指已进入索引。跨工具比较前,先确认字段含义和时间窗口。
还要区分“请求量归零”和“处理正确”。请求量下降可能来自抓取预算调整、服务器响应变慢、站点结构改动,甚至只是工具采样变化。单看一个指标归零,不足以证明你的分组或动作是对的。
建议在项目里固定一张对照表:每个页面的分层变量、随机分组结果、处理动作、每次检查的时间戳和状态来源。这张表让不同角色能核对同一事实,而不是各自引用不同截图。
先选 100–200 个页面做小规模分层随机,不要一次全量铺开。统一发现状态的判定口径,记录分层变量,随机分配处理与对照。运行一个观察周期后,看层内差异是否稳定,再决定保留、改写还是退出。动作的结果会直接决定下一步是扩大样本、调整分层变量,还是放弃当前假设。