Robots Exclusion Checker
概述
机器人排除检查器旨在直观地指示是否有任何机器人排除阻止您的页面被搜索引擎抓取或索引。
## 该扩展报告了 5 个元素：
1.机器人.txt
2.元机器人标签
3.X-机器人标签
4.Rel=规范
5. UGC、赞助和 Nofollow 属性值 *新*
- 机器人.txt
如果您正在访问的网址受到 robots.txt 中“允许”或“禁止”的影响，扩展程序将向您显示扩展程序中的特定规则，以便您轻松复制或访问实时 robots.txt。您还将看到完整的 robots.txt，其中突出显示了特定规则（如果适用）。酷诶！
- 元机器人标签
任何引导机器人“index”、“noindex”、“follow”或“nofollow”的机器人元标记都将标记相应的红色、琥珀色或绿色图标。不会影响搜索引擎索引的指令（例如“nosnippet”或“noodp”）将显示，但不会纳入警报中。该扩展使您可以轻松查看所有指令，并完整显示源代码中出现的任何 HTML 元机器人标签。
- X-机器人标签
过去在 HTTP 标头中发现任何机器人指令有点麻烦，但有了这个扩展就不再那么麻烦了。任何特定的排除项以及完整的 HTTP 标头都将非常明显 - 特定的排除项也会突出显示！
- 规范标签
尽管规范标签不会直接影响索引，但它仍然会影响 URL 在 SERPS（搜索引擎结果页面）中的行为方式。如果您正在查看的页面允许机器人访问，但检测到规范不匹配（当前 URL 与规范 URL 不同），则扩展程序将标记一个琥珀色图标。从 HTML 和 HTTP 标头响应中收集每个页面上的规范信息。
- UGC、赞助和 Nofollow
该扩展的新增功能使您可以选择突出显示使用“nofollow”、“ugc”或“赞助”rel 属性值的任何可见链接。您可以控制突出显示哪些链接并为每个链接设置您喜欢的颜色。我希望您希望禁用此功能，您可以完全关闭。
## 用户代理
在设置中，您可以选择以下用户代理之一来模拟每个搜索引擎有权访问的内容：
1. 谷歌机器人
2.Googlebot新闻
3.必应
4.雅虎
## 好处
该工具对于从事搜索引擎优化 (SEO) 或数字营销工作的任何人都非常有用，因为它可以清晰地显示页面是否被 robots.txt 阻止（许多现有扩展程序不会标记这一点）。抓取或索引问题对您的网站在有机结果中的表现有直接影响，因此此扩展应该成为您的 SEO 开发人员工具包的一部分。一些在线可用的常见 robots.txt 测试程序的替代方案。
此扩展适用于：
- 分面导航审查和优化（有助于查看复杂/堆叠分面背后的机器人控制）
- 检测抓取或索引问题
- 浏览器内的一般 SEO 审查和审核
## 避免需要多个 SEO 扩展
在机器人和索引领域内，没有更好的扩展可用。事实上，通过安装机器人排除检查器，您将避免运行多个扩展程序，从而降低其功能。
变更日志：
1.0.2：修复了 URL 更新后元机器人无法更新的错误。
1.0.3：各种错误修复，包括更好地处理带有编码字符的 URL。 Robots.txt 扩展功能允许查看超长规则。现在兼容 JavaScript History.pushState()。
1.0.4：各种升级。添加了带有琥珀色图标警报的规范标签检测（HTML 和 HTTP 标头）。 Robots.txt 现在完整显示，并突出显示相应的规则。 X-robots-tag 现在在完整的 HTTP 标头信息中突出显示。各种用户体验改进，例如“复制到剪贴板”和“查看源代码”链接。添加了社交共享图标。
1.0.5：当扩展检测到 URL 更改但没有新的 HTTP 标头信息时，强制进行后台 HTTP 标头调用 - 主要适用于严重依赖 JavaScript 的网站。
1.0.6：修复了进行规范检查时 URL 的哈希部分的问题。
1.0.7：除了 HTTP 标头之外，还强制进行后台正文响应调用，以确保 JavaScript 密集型站点的 URL 的非缓存视图。
1.0.8：修复了在 robots.txt 文件中检测到对同一用户代理的多个引用时发生的错误
1.0.9：修复了规范不匹配警报的问题
1.1.0：各种 UI 更新，包括当扩展程序检测到 URL 更改而没有新的 HTTP 请求时发出 JavaScript 警报
1.1.1：添加了额外的逻辑元机器人用户代理规则冲突
1.1.2：添加了德语UI
1.1.3：添加了 UGC、赞助和 Nofollow 链接突出显示
1.1.4：在新安装时默认关闭 nofollow 链接突出显示，并修复了与 HTTP 标头规范不匹配相关的错误
1.1.5：修复错误以改进 robots.txt 解析器
发现错误或想提出建议？请发送电子邮件至：extensions@samgipson.com
Robots Exclusion Checker 1.3.0.crx
.crx
1.3.0
185.83KiB
支持
Robots Exclusion Checker 1.3.0.zip
.zip
1.3.0
185.83KiB
不支持
页:
[1]