SEO优化工具：一次全站扫描被中断后怎样判断已覆盖范围，有落盘明细时，按三段核对覆盖
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /8cf08a7e9984.html
📄
SEO优化工具：一次全站扫描被中断后怎样判断已覆盖范围，有落盘明细时，按三段核对覆盖
先看中断时工具是否已经写出可核对的结果清单。如果爬取队列、已访问URL记录或日志文件已经落盘，覆盖范围可以按“已确认抓取”和“未确认”两段判断；如果中断后只剩一个总数、没有可导出明细，覆盖范围无法可靠重建，只能重新扫描或改成分段扫描。关键在于：扫描进度条和最终汇总通常不是同一份事实来源。
有落盘明细时，按三段核对覆盖
当工具在中断前持续写入已访问记录，可以把范围拆成三段来核对。第一段是已成功返回状态码并完成解析的URL，这部分覆盖最确定；第二段是已请求但未完成解析的URL，可能只拿到了响应头；第三段是队列中尚未请求的URL，属于完全未覆盖。判断时不要只看“已抓取数量”，要分别统计这三段。
具体动作：导出已访问URL列表，按状态码和是否完成解析分组，再与站点地图、内链清单或数据库中的URL总表做差集。差集结果就是未覆盖部分。这个动作会直接决定下一步是补扫差集，还是整体重扫——如果差集占比较小且集中在某几个目录，补扫更省时间；如果已访问记录本身不完整，补扫的边界就不可信，应改成分目录、分模板的短周期扫描。
只有进度数字时，不要用比例反推覆盖
很多工具中断后只留下“已扫描 40%”这类提示。这个比例通常基于预估总量，而预估总量本身可能来自站点地图、内链发现或历史快照，三者口径不同。因此40%不等于已覆盖四成真实URL，更不等于这些URL都完成了有效解析。
可区分的原因至少有三类：一是预估总量偏大，实际站点远小于该值，进度比例被低估；二是中断发生在写入汇总之前，已抓取明细随进程丢失；三是扫描被限速或反爬拦截，大量URL被记为失败而非未访问。三者的处理方式不同：第一种可以直接重扫；第二种需要换用能持续落盘的工具配置；第三种要先解决访问限制，否则重扫仍会在同一位置中断。
此时可行的动作是查看工具是否支持断点续扫或分批任务。若支持，把剩余范围按目录或URL模式拆成若干小任务，逐个完成并记录每个任务的起止范围。若不支持，就不要再依赖那次中断的进度数字，改为设定固定上限的分段扫描，每段结束后立即导出明细。
个别样本成立，不代表全站结论成立
中断后容易出现的误判是：抽查几个已抓取页面，发现标题、状态码、内链都正常，就认为覆盖质量没问题。这种抽查只能说明样本成立，不能说明未覆盖部分同样正常。规模化扫描中的例外往往集中在特定模板、分页参数、筛选参数或大量低优先级URL上，而这些恰好可能是中断时尚未进入队列的部分。
假设一个场景：站点有商品详情、分类列表和带筛选参数的列表页三类模板。中断时已完成的大部分是详情页，抽查也正常。但分类列表和筛选页可能完全未覆盖，而这两类页面更容易出现重复标题、参数膨胀或抓取浪费。此时按详情页样本推断全站健康度就会偏离。
因此判断覆盖范围时，要把URL按模板或目录分组，分别看每组是否被覆盖，而不是只看总体数量。分组后如果发现某一组完全缺失，下一步应先补扫该组，再决定是否需要全站重扫。
两种条件下分别怎么选
条件一：工具持续写入已访问明细，且能导出状态码与解析状态。此时选择补扫差集，动作是导出明细、与URL总表做差集、按目录拆分补扫任务。结果是补扫范围明确，后续只需验证补扫部分的解析质量。
条件二：中断后只有汇总数字或日志不完整。此时选择分段重扫，动作是设定单段URL上限、按模板或目录切分、每段结束立即导出并记录边界。结果是覆盖范围以每段导出清单为准，不再依赖中断前的进度提示。
两种选择的共同前提是：URL总表本身要有一份可核对的来源，例如站点地图、数据库导出或服务器访问日志。如果连总表都没有，任何覆盖判断都只是估算，应先建立URL清单再谈扫描范围。
把覆盖判断变成可复查的记录
无论选补扫还是分段重扫，都建议保留三样记录：本次任务的起止时间、URL匹配规则、导出明细的文件标识。这样下次中断时，可以直接用规则和明细判断哪些范围已经确认、哪些仍需处理，而不必重新猜测进度比例。覆盖范围判断的可靠程度，取决于明细是否可复查，而不是取决于中断时显示了多少百分比。
