第六课：robots.txt是什么？它的作用有哪些？

坚信大家许多初学者SEO网站站长非常少去掌握。也是有许多人觉得这一文件有啥功效，真的是那样吗？自然并不是，一般情形下，robots全是要设定的，就算你网站沒有必须限定的文件文件目录，就算把sitemap地图放进去...

坚信大家许多初学者SEO网站站长非常少去掌握。也是有许多人觉得这一文件有啥功效，真的是那样吗？自然并不是，一般情形下，robots全是要设定的，就算你网站沒有必须限定的文件文件目录，就算把sitemap地图放进去让抓取也是好的，由于蜘蛛抓取网站第一个抓取文件便是robots，蜘蛛必须明白什么页面是被严禁抓取的。

尽管robots.txt在日常SEO工作上非常少碰触，但它存在的价值则是十分大的。Robots的功效早已没有在限于网页页面的个人隐私了，还取决于页面一些途径的清除，如删掉死链接十分有用。下面随恋音seo技术博客来全方位看清真真正正的robots.txt文件。

robots.txt它是一个文字的文件，是一种储放于网站根目录下的文字文件，它通常会告知百度搜索引擎的抓取程序流程(又被称为爬虫或蜘蛛)，这一网站中都有哪些內容不应该被引擎搜索的抓取程序流程获得的，又有什么是可以被抓取程序流程获得的。

robots.txt这一robots务必是要小写字母的，这也是跟互联网蜘蛛创建的一个协议书，互联网蜘蛛来你的网站的情况下第一会去看看的便是你网站网站根目录的robots.txt协议书文件，它会依据你的要求来开展抓取，可是有一些傲骄的互联网蜘蛛它不遵循标准，一般互联网蜘蛛都是会会遵循的，如果你网站网站根目录沒有这一文件得话互联网蜘蛛便会顺着大家网站上边的连接一个一个开展抓取。

(1)它可以帮助百度搜索引擎的蜘蛛抓取特定的频道或是是內容。等同于你来一个人生地不熟，有些人让你领路一样。

(2)在我们网站重做或是是URL重写提升时屏蔽掉不太好的连接。不上迫不得已千万别开展网站重做，这一对网站损害非常大的，会造成被降权惩罚或是是排行百度收录全掉。

(3)可以屏蔽掉死链和404不正确页面。伴随着网站发展壮大，死链和404不正确页面是无可避免的。

(4)屏蔽掉这些无內容和无使用价值的页面。

(5)屏蔽掉反复页面，例如评价页、搜索结果。

(6)屏蔽掉一切不愿被收集的页面。

(7)正确引导蜘蛛来抓取网站地形图。让蜘蛛更迅速来抓取大家网站的连接。

汇总：由于robots.txt文件是网站跟蜘蛛的一个协议书，蜘蛛来抓取网站时必定先(理论上)遵循协议书。因此许多网站robots.txt文件就产生了一种状况，那便是把网站地形图sitemap装进去，如恋音seo博客也是如此哦，那样当然是因为吸引住蜘蛛迅速抓取网站连接，有利于百度收录。也有便是查看其他网站robots.txt文件时，可立即在网站域名后边加一个robots.txt就可以一览无遗。