SEO：网站的robots文件设置时应注意哪些问题？

       SEO：网站的robots文件设置时应注意哪些问题？在网站优化工作当中，robots文件的设置是占据很重要的位置的。robots文件属于网站跟爬虫间的协议，也就是说你的网站那些内容想被爬取，哪些内容不想被爬取都是通过robots文件来告诉蜘蛛的。网站robots文件设置的合适与否会直接你的网站能够顺利被收录，网站的robots文件设置时应注意哪些问题？

       1、文件后缀及大小写。

       robots文件的后缀必须是.txt；robots文件必须全小写字母命名；在写robots文件的时候，Disallow、Allow、Sitemap等词首字母必须大写，后面的字母则要小写。

       2、robots文件放在哪？

       robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据。

       SEO：网站的robots文件设置时应注意哪些问题？

       3、注意空格。

       特别注意，在书写robots事，应用英文状态下的冒号，并且冒号后面必须有一个英文状态下的空格。

       4、都需要抓取是否就不用设置？

       有的站长可能觉得如果网站所有文件都需要蜘蛛抓取，那就没必要添加robots文件，因为如果这个文件不存在，那蜘蛛也将默认访问网站上所有没有被口令保护的页面。这里要注意一种情况，如果用户试图访问一个不存在的url，服务器就会在日志中记录404错误。当蜘蛛来寻找不存在的robots文件时，服务器也将在日志中记录一条404错误，所以网站应该都要设置robots文件。

       5、为了增加网站收录率robots文件中设置所有文件都能被抓取可以吗？

       不可以。因为网站中的程序脚本、样式表等文件即使被蜘蛛收录，也不会增加网站的收录率，还只会浪费服务器资源。因此必须在robots.txt文件里设置不要让搜索蜘蛛索引这些文件。

       配置网站robots.txt是SEO的基础操作，如何更好的引导蜘蛛抓取需要在不断的实践中调整，这样就可以达到网站抓取资源分配更优化。关于“SEO：网站的robots文件设置时应注意哪些问题？ ”就为您介绍到这里了，希望可以帮到您。