robots.txt 主要控制爬虫能否请求某些地址;noindex 则告诉支持该指令的搜索引擎不要把页面保留在索引中。两者不是同一个开关。
动手前先写清预期:页面要公开吗?需要出现在 Google 吗?是否包含私人数据?私人资料应通过登录和访问权限保护,不能靠 robots.txt 或 noindex 保密。
1. 给五类页面作出选择
| 页面 | 常见预期 | 先采用的判断 |
|---|---|---|
| 正式产品页 | 希望获得搜索流量 | 允许访问,检查无误设 noindex |
| 有用教程 | 希望获得搜索流量 | 保留完整正文与正常入口 |
| 公开站内搜索结果 | 常不作为独立搜索入口 | 先评估 noindex,并让爬虫能读取指令 |
| 私人订单详情 | 只有授权用户可看 | 使用身份验证与权限控制 |
| 大量重复筛选参数 | 控制无价值网址膨胀 | 先制定范围,再选择抓取与索引方案 |
这是常见决策起点,不是把整张表直接套到所有网站。尤其大型筛选系统,要结合已有索引情况与技术实现分析。
2. 理解为什么两种设置可能冲突
如果先在 robots.txt 禁止抓取某页,再在该页添加 noindex,Google 可能无法重新读取页面,自然也看不到新指令。
因此“已经收录,想移除”的页面,不能只靠禁止抓取处理。先确认实际移除方案、允许读取的条件和复查方式。Google 不支持把 noindex 直接写成 robots.txt 中的索引指令。
3. 在单个页面上验证
- 打开正式网址,确认是否应对普通访客公开。
- 查看页面是否输出 robots meta;非 HTML 文件还可能通过 X-Robots-Tag 响应头控制。
- 查看对应站点的 robots.txt,确认规则匹配的是哪个路径与爬虫。
- 在 GSC 网址检查中对照抓取与索引允许情况,必要时运行实际网址测试。
- 保存原值、目标结果与复查记录,再进行有依据的单项修改。
不会判断通配符或路径匹配时,把明确的目标网址交给开发者测试,不要尝试一个可能覆盖全站的规则。
4. 处理一个常见错误
假设教程误设 noindex,但它应该公开索引。先删除误设,确认正式页面不再输出该指令;若抓取又被阻止,还需查清阻止的原因。随后检查实时结果,并等待 Google 重新处理。
不要据此批量清除所有 noindex。账号、内部搜索或其他特殊页面可能本来就需要限制。
完成标准
能分别说出“谁可以访问、爬虫能否抓取、是否希望索引”,并有修改前后证据。某个检测显示“允许索引”,也不代表页面一定被收录。
毕瑞出海BerightDigital微信扫码关注,视频和文章同步更新