robots.txt 正在重定向到默认页面

分享于 

1分钟阅读

互联网

  繁體 雙語

问题:

Hullo

如果你能看到"oneofmysites.com/robots.txt",的内容,任何浏览器都会显示 robots.txt. 内容,这是相当标准的行为。

我只有一个网络服务器。 相反,向默认网页重定向 robots.txt ( 例如 )。 "thesiteinquestion.com/"). 这显著的差别( 只有七个站点中的一个) 担忧我。

问题:这是一个值得关注的问题? 如果是这样,我缺少的可能的错误是什么?

注释:

  • 这个站点是唯一一个独立的服务提供商,我使用。
  • CentOS释放 6.10 ( 最终)
  • Webmin
  • robots.txt 文件权限为 644

回答 1:

它依赖于服务器配置,. txt 文件可能不被允许。 可以能有一个规则在配置或者某些。MATCH 中指定url是否没有将它的他 Pattern ( 说. html,. php,. htm, 等) 重定向到 web root。


回答 2:

为了添加一些信息,web提供者不会强制遵守 robots.txt 标准,因这里可以使用它来重定向。


回答 3:

爬行器应该读取 robots.txt 并遵循它的限制,但web服务器不能执行这里操作。

如果你知道它们是谁,.htaccess ( 或者服务器confía文件) 可以用来排除不遵守的爬虫。



RED  DEF  默认  机器人  Redirect  robots  
相关文章