百度收录量，源站正常而边缘节点异常时应保留哪些证据
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /3d2d9341a74b.html
📄
百度收录量，源站正常而边缘节点异常时应保留哪些证据
先给有条件的结论：如果源站返回正常、日志里能看到百度蜘蛛拿到 200，但通过边缘节点访问时出现 403、5xx、超时或内容被改写，那么要保留的核心证据不是“源站没问题”这一句话，而是能证明差异发生在边缘层的成对记录。只有成对记录成立，才能把问题交给 CDN 或边缘配置负责人；单看源站状态或单看收录量下降，都不足以支撑这个判断。
先确认“源站正常”是在哪个层面正常
源站正常至少分三层：源站进程存活、源站对特定 URL 返回正确状态码、源站返回的 HTML 与预期一致。很多排查只验证了第一层，就得出源站没问题。实际决定收录的是第二层和第三层。
可以做一个假设例子：源站对 /article/1001 返回 200 和完整正文，但边缘节点对该 URL 返回 403，同时把 /article/1002 返回成登录页。此时源站监控全绿，边缘侧却已经阻断了抓取。百度收录量下降可能与此有关，但收录量变化本身不能单独证明是边缘异常造成的，也可能是索引策略调整、内容质量变化或抓取配额波动。要区分这些解释，必须回到逐 URL 的成对证据。
必须保留的四组成对证据
证据的价值在于可对比、可复查、可交给他人复现。建议按下面顺序保留，每一组都同时记录源站直连和边缘节点访问的结果。
- 状态码与响应头对：同一 URL 在源站直连和边缘节点下的 HTTP 状态码、
Content-Type、Cache-Control、X-Cache一类边缘标识。若边缘返回 403 或 5xx，源站返回 200，这组差异就是第一手证据。 - 响应体摘要对：不要只保存整页 HTML，保留标题、正文首段、canonical、robots meta 的摘要即可。重点看边缘是否返回了验证页、登录页、空页面或旧版本内容。
- 解析与节点信息对：记录访问时命中的 IP、CNAME 链、节点地区或运营商。个别样本成立不代表所有节点都异常，规模化后出现例外，往往就是某些节点或某些地区配置不一致。
- 时间戳与请求标识对：同一分钟内分别发起源站和边缘请求，保留请求 ID、响应时间、重试次数。没有时间对齐，后续无法判断是持续异常还是瞬时抖动。
这四组证据里，状态码和响应体摘要最关键。只有响应头没有响应体，无法判断内容是否被改写；只有响应体没有节点信息，无法定位是哪个边缘环节出的问题。
一个会让结论失效的反例
假设你发现边缘节点对百度蜘蛛 UA 返回 403，于是判断边缘拦截了百度抓取。但如果源站直连时也依赖同一套 UA 黑名单，或者源站本身对空 UA、非常用 UA 返回 403，那么“边缘异常”这个结论就不成立，问题其实出在源站策略。
另一个反例是：边缘返回 403 只出现在你手动构造的请求里，而百度蜘蛛的真实抓取日志显示它拿到的是 200。此时边缘异常可能只影响你的测试方式，不影响实际抓取。判断依据是百度蜘蛛日志里的状态码、响应大小和时间，而不是你本机 curl 的结果。若日志缺失，就不能把测试结果直接当成抓取事实。
还有一种情况：边缘节点返回的内容与源站不同，但差异只是压缩、缓存或字符集转换，正文和 canonical 一致。这种差异通常不构成收录障碍，不该和 403、5xx、登录页拦截混为一谈。
规模化后出现例外时怎么缩小范围
个别 URL 成立、批量 URL 出现例外，说明不能直接照搬单样本结论。下一步动作是按维度分组取样，而不是继续增加单 URL 的重复测试。
- 按目录分组：抽
/article/、/tag/、/search/各若干 URL，看异常是否集中在某类路径。 - 按节点分组：同一 URL 请求不同地区或不同运营商节点，看是否只有部分节点异常。
- 按 UA 分组：分别用百度蜘蛛 UA、普通浏览器 UA、空 UA 请求，看拦截是否与 UA 绑定。
- 按时间分组：在缓存过期前后各测一轮，看异常是否与缓存刷新或回源策略有关。
分组之后，如果异常只出现在特定目录加特定节点，就可以把证据范围收窄到该目录的边缘缓存规则或回源配置。如果所有分组都异常，才需要回到源站与边缘的整体链路。这个动作直接影响下一步：范围收窄后，交接对象是边缘配置负责人；范围没收窄，交接对象应先回到能同时查看源站和边缘日志的人。
交接时不要只给结论
把证据整理成一张可复查的清单，比口头说“边缘有问题”有效。清单里至少包含：URL、测试时间、源站状态码、边缘状态码、边缘节点标识、响应体摘要差异、百度蜘蛛日志中对应记录是否存在。若百度蜘蛛日志显示抓取正常，而你的边缘测试异常，应优先解释测试条件差异，而不是直接要求对方改配置。
最后要说明适用条件：这套证据方法针对的是源站与边缘返回不一致的场景。如果源站本身返回 404、410 或 robots.txt 明确限制抓取，那么问题不在边缘层，保留边缘证据也无法解决收录变化。robots.txt 的抓取限制不等于可靠的索引移除，站点地图也不保证收录，这些都需要在判断前单独核查。下一步动作是先确认源站对目标 URL 的真实返回，再决定是否继续追边缘节点。
