robots.txt 管的是合规爬虫的抓取，不是页面保密或可靠去索引。一个错误的通配符就可能让整站重要目录消失在抓取队列。
这份 SOP 的目标是：用最小且可测试的 robots.txt 规则管理抓取，不误伤索引与关键资源。理想结果不是“菜单点完了”，而是重要页面和渲染资源可抓取，低价值模式按需求控制，任何变更都有测试和回退。对跨境电商、独立站、外贸 B2B 与内容型网站来说，任何配置都必须回到真实业务结果，而不是停在工具里的漂亮数字。
2026 年时效性结论
本稿在 2026-08-20 复核。来源方法涉及的时效结论为：部分过时需更新。
- 旧做法的问题：robots.txt 格式仍有效，但原文容易让新手误以为 Disallow 能阻止索引。
- 当前替代方案：更新现有 robots.txt 文章，明确 crawl 与 index 区别，保护敏感信息应使用认证/noindex，加入测试、CMS 规则与变更日志。
本文保留仍然有效的工作方法，但不会照搬已经退役的产品、菜单、指标或自动化逻辑。界面名称可能继续变化，因此验收结果比截图位置更可靠。
SOP 速览
| 项目 | 说明 |
|---|---|
| 目标 | 用最小且可测试的 robots.txt 规则管理抓取，不误伤索引与关键资源 |
| 理想结果 | 重要页面和渲染资源可抓取，低价值模式按需求控制，任何变更都有测试和回退 |
| 负责人 | 负责该渠道的运营人员；涉及代码、权限或合规时由对应负责人复核 |
| 何时执行 | 首次搭建时执行；平台、网站或业务目标变化后复核 |
| 预计用时 | 30–90 分钟，复核时间另计 |
| 核心指标 | 误阻止 URL 数、抓取异常、关键资源可抓取率、规则测试通过率 |
开始前准备
- 站点目录、参数和爬虫需求
- 现有 robots.txt 备份
- GSC/抓取工具
- 开发与安全负责人
先建立一个可回退点。涉及网站代码、追踪、权限或广告投放时，保存当前设置、记录负责人，并确定失败后的恢复方式。不要在没有测试环境或备份的情况下直接改生产系统。
操作步骤
步骤 1｜区分抓取、索引与安全
需要从搜索移除的页面用适当 noindex/认证/删除流程；敏感信息必须访问控制。不要指望 Disallow 保密或强制不索引。
步骤 2｜盘点当前规则
逐行记录 user-agent、allow/disallow、通配符和 sitemap，找冲突、过宽目录和遗留 staging 规则。
步骤 3｜建立最小规则集
只阻止明确无抓取价值且不会影响渲染/发现的模式。避免复制别的网站模板，WordPress 插件、主题和电商参数各不相同。
步骤 4｜测试代表 URL
为每条规则准备应允许和应阻止的正反样本，测试大小写、尾斜杠、查询参数和不同 user-agent。
步骤 5｜检查渲染资源
确保 Googlebot 可访问页面渲染所需 CSS、JS 和图片；封锁资源可能导致理解和移动体验判断错误。
步骤 6｜发布与回读
在根目录发布纯文本文件，确认返回 200、无重定向/HTML 错误；用 URL Inspection/抓取器抽查关键页。
步骤 7｜监控变更
记录发布日期和负责人，观察抓取/索引变化。站点迁移或环境切换时重点检查是否把 staging 的全站 Disallow 带到生产。
不同业务场景如何调整
| 业务场景 | 调整方式 | 判断重点 |
|---|---|---|
| 跨境电商卖家 | 先在单一市场、单一产品线试运行，记录 误阻止 URL 数、抓取异常、关键资源可抓取率，确认流程不会重复计数或打乱广告学习。 | 订单、毛利、退货与广告归因一起看 |
| 独立站卖家 | 把网站、分析工具、广告平台和同意管理视为一个系统；正式上线前用测试访问或测试订单走完整路径。 | 页面行为与最终转化不能割裂 |
| 外贸 B2B 团队 | 把表单、WhatsApp、邮件、样品申请等线索动作映射到 CRM 阶段，避免只追求表面提交量。 | 线索有效率、跟进率和成交周期 |
| 内容站/出海站长 | 优先验证自然流量、订阅、联盟点击或广告收益是否真正改善，不用单一浏览量替代商业结果。 | 内容价值、平台合规与收入稳定性 |
验收清单
- ☐ 重要页面和资源允许抓取
- ☐ 敏感页面由访问控制保护
- ☐ 每条规则有正反样本
- ☐ robots.txt 返回 200 纯文本
- ☐ sitemap 指向正确
- ☐ 生产站没有 staging 全站阻止
只有验收清单能被另一名团队成员独立复现，才算完成。若结果依赖‘看起来正常’，应补充测试数据、截图、事件记录或后台回读。
常见错误与风险
- 用 robots.txt 隐藏私人数据
- Disallow 页面同时期望 Google 读取 noindex
- 复制通用模板封掉 CSS/JS
- 上线时忘记移除
Disallow: /
结果记录模板
建议在任务系统或表格中至少保留以下字段：
- 执行日期
- 执行人
- 网站/账户
- 变更前状态
- 变更内容
- 测试样本
- 验收结果
- 异常与回退
- 下次复核日期
官方资料与版本说明
- Google Search Central｜robots.txt：robots.txt 主要控制抓取，不是可靠的禁止索引机制；要阻止索引应使用 noindex 或访问控制。
本文依据官方资料于 2026-08-20 完成版本核验。平台功能、收费、权限和政策会继续变化；正式执行前应再次打开官方页面确认当前界面与适用地区。
下一步
每次站点结构、插件或参数策略变化后重跑代表 URL 测试，并把结果与 sitemap/索引策略一并审计。
