什么是robots.txt 和站点地图验证器 - 在线验证 Robots 规则和 Sitemap XML?
robots.txt 与 Sitemap 校验器是一款二合一的技术 SEO 诊断工具:其 robots.txt 模块可解析 User-agent、Allow、Disallow、Sitemap 与 Crawl-delay 指令,检查语法错误并支持按最长前缀匹配模拟特定爬虫对目标 URL 的放行/拦截结果;其 Sitemap 模块则可验证 XML 结构、urlset/sitemapindex 根节点以及 loc、lastmod、changefreq、priority 等标签的合规性。
如何使用robots.txt 和站点地图验证器 - 在线验证 Robots 规则和 Sitemap XML
- 1先填写“robots.txt Content”、“URL Path”、“User-agent”中的必要内容。
- 2按需修改选项或补充输入,结果会随着页面状态自动更新。
- 3检查结果区域中的输出。
robots.txt 和站点地图验证器 - 在线验证 Robots 规则和 Sitemap XML的常见使用场景
网站发版前 SEO 抓取规则自检
在上线新的 robots.txt 或 sitemap.xml 前检查语法错误、缺失斜杠或非法的日期与优先级格式,防止阻塞搜索引擎收录。
排查核心落地页被意外 Disallow 的问题
输入具体的页面路径与爬虫 User-agent(如 Googlebot),按最长前缀匹配规则模拟测试该 URL 是否被允许抓取。
验证 Sitemap Index 嵌套站点地图合规性
粘贴多语言或大型站点的 sitemap_index.xml 与子 sitemap,检查 loc、lastmod(W3C 时间格式)、changefreq 与 priority 是否符合规范。
常见问题
robots.txt 校验器支持检查哪些指令?
支持检查 User-agent、Allow、Disallow、Sitemap、Crawl-delay 和 Host 指令,并能自动标出缺少冒号、路径未以 / 开头以及在声明 User-agent 之前编写规则等常见语法错误。
URL 抓取模拟测试是如何判断放行还是拦截的?
工具严格遵循 Google 与主流搜索引擎采用的“最长前缀匹配(Longest-prefix Match)”原则,对比目标 User-agent 下的 Allow 与 Disallow 规则长度得出最终裁决。
支持检测 Sitemap Index(站点地图索引文件)吗?
支持。无论是包含 url 节点的标准 urlset 站点地图,还是包含子 sitemap 节点的 sitemapindex 索引文件,工具都能自动识别并解析条目列表。