江西SEO优化—提供SEO顾问服务、网站SEO优化诊断方案(合作微信/QQ:707468216)

Robots文件如何告诉搜索引擎该抓取什么内容?

时间:2017-02-27 10:22 来源:未知 作者:江西SEO曾庆平

首先要了解什么是robots文件,比如,在江西SEO曾庆平的首页网址后面加入“/robots.txt”,即可打开该网站的robots文件。robots文件里显示的内容是要告诉搜索引擎哪些网页希望被抓取,哪些不希望被抓取。因为网站中有一些无关紧要的网页,如“给我留言”或“联系方式”等网页,它们井不参与SEO排名,只是为了给用户看,此时可以利用robots文件把它们屏蔽,即告诉搜索引擎不要抓取该页面。
 
蜘蛛抓取网页的精力是有限的,即它每次来抓取网站,不会把网站所有文章、所有页面一次性全部抓取,尤其是当网站的内容越来越多时,它每次只能抓取一部分。那么怎样让它在有限的时间和精力下每次抓取更多希望被抓取的内容,从而提高效率呢?比如江西SEO曾庆平网站robots文件如图:
 
江西SEO曾庆平网站robots文件
 
此时可以利用robots文件。小型网站没有该文件无所谓,但对于中大型网站来说,robots文件尤为重要。因为这些网站数据库非常庞大,蜘蛛来时,要像对待好朋友一样要给它看最重要的东西,因为这个朋友时间精力有限,每次来都不能把所有的东西看一遍,所以就需要robots文件屏蔽一些无关紧要的东西。由于种种原因,某些文件不想被搜索引擎抓取,如出于隐私保护的内容,也可以用robots文件把搜索引擎屏蔽。
 
robots文件具体代表什么意思呢?可以百度一下“robots.txt",打开“百度百科”,如图所示。
 
 
“百度百科”中提到“有些人会问,既然robots文件没弄好或出错了,会影响整个网站的收录,那为什么还要这个文件呢?”这句话中的“出错了”是指将不该屏蔽的网址屏蔽了,导致蜘蛛不能抓取这些页面,这样搜索引擎就不会收录它们,那何谈排名呢?所以robots文件的格式一定要正确。
 
再回到上面的问题,“百度百科”给出的回答是“其实robots文件是为特定需要的SEO站长准备的,因为有些网站,有一些页面是SEO站长不想被搜索引擎收录的,所以才有了这个robots文件。”
 
“百度百科”还给出了“robots.txt文件用法举例”,其中提到:
 
(1)“User-agent: *
 
         Disallow: /”
 
表示“禁止所有搜索引擎访问网站的任何部分”,这相当于该网站在搜索引擎里没有记录,也就根本谈不上排名。
 
(2)“User-agent: *
 
         Disallow:”
 
表示“允许所有的robots访问”,即允许蜘蛛任意抓取并收录该网站。这里需要注意,前两条语法之间只相差一个“/”。
 
(3)“User-agent: BadBot
 
           Disallow: /”
 
表示“禁止某个搜索引擎的访问”。
 
(4)“User-agent: Baiduspider
 
         Disallow:
 
         User-agent:*
 
         Disallow:/”
 
表示“允许某个搜索引擎的访问”。前面已经讲过“Baiduspider”是百度蜘蛛的名称,这条语法即是允许百度抓取该网站,而不允许其他搜索引擎抓取。
 
“百度百科”还举了一个简单的例子,两个“/”之间是网站具体的文件夹。像“百度百科”这样共享的robots文件写法己经比较全面,这里就不再一一介绍了。
 
本篇介绍了robots文件的主要用途。再举一个案例,某个网站以前是做SEO的,现在要做汽车,所以网站的内容要全部更换。删除有关减肥药的文章,这样会出现大量404页面、很多死链接,而这些链接以前己经被百度收录,但网站更换后蜘蛛再过来发现这些页面都不存在了,这就会留下很不好的印象。此时可以利用robots文件把死链接全部屏蔽,不让百度访问这些已不存在的页面即可。
 
使用robots文件应该注意什么呢?首先,在不确定文件格式怎么写之前,可以先新建一个文本文档,注意robots文件名必须是“robots.txt",其后缀是“txt”且是小写,不可随意更改,否则搜索引擎识别不了。然后打开该文件,可以直接复制粘贴他人的格式。比如百度的robots文件如图:
 
robots文件
 
注意:首页的网址不要出现在robots文件中,只需写上被禁止抓取的页面网址中除首页域名以外的部分即可。
 
如果写成“Disallow:/wzjc/”,则表示屏蔽/wzjc/目录里的所有文章,蜘蛛抓取不到其中任何一篇,也就意味着这些文章都不参与排名。但如果写成“Disallow: /wzjc ”,最后面少了一个“/”,这就表示屏蔽该网站中网址前部包含“/wzjc”的所有网页,如“www.qingpingseo.com/wzjc123”或一个具体的网页“www.qingpingseo.com/wzjc1234.html”等,都不能被蜘蛛抓取。这种写法有一个好处,比如,我的网站有很多分页,这些分页的网址:极有规律,前部分完全相同,只是最末尾的数字不一样。如果想屏蔽所有分页,即可写成“Disallow: /cat/? page”,不需要逐条写出。

 
版权所有。转载时必须以链接形式注明作者和原始出处。请大家尊重原创,珍惜别人的汗水!

声明:本文原创归江西SEO所有,转载请注明原文网址: http://www.qingpingseo.com/seojishu/298.html

围观: 1000次 | 责任编辑:江西SEO曾庆平

回到顶部