Web & 认证

robots.txt 和站点地图验证器 - 在线验证 Robots 规则和 Sitemap XML

免费在线 robots.txt 和 sitemap.xml 验证工具。解析和验证 robots.txt 指令,测试 URL 访问规则,并验证站点地图 XML 结构、URL 和元数据。

免费使用 无需注册 浏览器本地运行

工具操作区

未发现问题 — robots.txt 有效!

解析出的规则 (5)

User-agent类型路径
*disallow/admin/
*disallow/private/
*allow/public/
Googlebotallow/
Googlebotdisallow/no-google/

声明的 Sitemaps

  • https://example.com/sitemap.xml

测试 URL 访问

阻止 — 匹配到“disallow: /admin/”,User-agent: *

什么是robots.txt 和站点地图验证器 - 在线验证 Robots 规则和 Sitemap XML?

robots.txt 与 Sitemap 校验器是一款二合一的技术 SEO 诊断工具:其 robots.txt 模块可解析 User-agent、Allow、Disallow、Sitemap 与 Crawl-delay 指令,检查语法错误并支持按最长前缀匹配模拟特定爬虫对目标 URL 的放行/拦截结果;其 Sitemap 模块则可验证 XML 结构、urlset/sitemapindex 根节点以及 loc、lastmod、changefreq、priority 等标签的合规性。

如何使用robots.txt 和站点地图验证器 - 在线验证 Robots 规则和 Sitemap XML

  1. 1先填写“robots.txt Content”、“URL Path”、“User-agent”中的必要内容。
  2. 2按需修改选项或补充输入,结果会随着页面状态自动更新。
  3. 3检查结果区域中的输出。

robots.txt 和站点地图验证器 - 在线验证 Robots 规则和 Sitemap XML的常见使用场景

网站发版前 SEO 抓取规则自检

在上线新的 robots.txt 或 sitemap.xml 前检查语法错误、缺失斜杠或非法的日期与优先级格式,防止阻塞搜索引擎收录。

排查核心落地页被意外 Disallow 的问题

输入具体的页面路径与爬虫 User-agent(如 Googlebot),按最长前缀匹配规则模拟测试该 URL 是否被允许抓取。

验证 Sitemap Index 嵌套站点地图合规性

粘贴多语言或大型站点的 sitemap_index.xml 与子 sitemap,检查 loc、lastmod(W3C 时间格式)、changefreq 与 priority 是否符合规范。

常见问题

robots.txt 校验器支持检查哪些指令?

支持检查 User-agent、Allow、Disallow、Sitemap、Crawl-delay 和 Host 指令,并能自动标出缺少冒号、路径未以 / 开头以及在声明 User-agent 之前编写规则等常见语法错误。

URL 抓取模拟测试是如何判断放行还是拦截的?

工具严格遵循 Google 与主流搜索引擎采用的“最长前缀匹配(Longest-prefix Match)”原则,对比目标 User-agent 下的 Allow 与 Disallow 规则长度得出最终裁决。

支持检测 Sitemap Index(站点地图索引文件)吗?

支持。无论是包含 url 节点的标准 urlset 站点地图,还是包含子 sitemap 节点的 sitemapindex 索引文件,工具都能自动识别并解析条目列表。