江西SEO优化—提供SEO顾问服务、网站SEO优化诊断方案(合作微信/QQ:707468216)

深入了解robots.txt文件怎么写?

时间:2017-07-11 13:47 来源:SEO优化 作者:江西SEO曾庆平

江西SEO曾庆平在前面的文章中讲过robots.txt概念的时候,留下一个问题:为什么江西SEO曾庆平的robots.txt写得那么复杂?江西SEO曾庆平的robots.txt:http://www.qingpingseo.com/robots.txt  这样做的目的是,让搜索引擎看来网站更规范和权威。
 
1、用robots.txt屏蔽相似的页面或没内容的页面。
 
我们知道,搜索引擎收录网页后,会对网页进行“审核”,当网页的相似度很高时2个页面,搜索引擎会删除其中一个。
 
假如以下这两个链接,内容其实差不多,所以第一个链接应该屏蔽。
 
http://www.xxx.com/bbs/redirect.php?tid=5167&goto=lastpost#lastpost
 
http://www.xxx.com/bbs/thread-5167-1-1.html
 
第一个的链接非常多,屏蔽时,只要屏蔽/bbs/redirect.php? 就屏蔽了所有的。代码如:Disallow: /bbs/redirect.php?
 
类似这样的页面,没有内容,也应该屏蔽:http://www.xxx.com/index.php?sid=247304&lang=zh&action=writecomment&id=77&artlang=zh 这样的链接也很多,屏蔽时,只要屏蔽/index.php?sid= 就屏蔽了所有的。代码如:Disallow: /index.php?sid=
 
2、用robots.txt屏蔽多余的链接,当动态和静态共存时,一般去掉动态的。
 
网站中经常会存在多个链接指向同一个页面,这种情况普遍存在时,会让搜索引擎对网站的权威性产生怀疑。通过robots.txt把非主要的链接去掉。
 
百度robots.txt
 
假如以下两个链接指向同样的页面,去掉次要的第一个。
 
http://www.xxx.com/space.php?username=曾庆平
 
http://www.xxx.com/space-uid-15.html
 
代码如:Disallow: /space.php?username=
 
特别需要注意的是,首页一般有这么几个链接:www.qingpingseo.com  www.qingpingseo.com/index.html  等,这个时候,不要屏蔽 index.html。因为如index.html index.php 等是默认首页,屏蔽可能导致蜘蛛爬取错乱。
 
咱们需要做的是,在给首页做站内外链接时,统一用不带index.html 的http://www.qingpingseo.com/  即可。这是URL标准化的概念。
 
robots协议
 
3、用robots.txt屏蔽死链接。
 
死链接就是原来存在,后来因为改版或更新等缘故删除了的链接和网页。比如,原来在某个目录(假设目录为/tempweb/)下的所有链接,因为改版现在都变为死链接了,可以用robots.txt屏蔽。代码如:Disallow: /tempweb/
 
4、用robots.txt屏蔽可能存在的“被K”外部链接。
 
很多网站允许用户放自己的网站链接,但因为过多的“被K”外部链接可能连累自己。所以,很多把所有外部链接放入一个链接目录下,然后通过robots.txt统一屏蔽。
 
如果你对Disallow:的具体操作办法不是很清楚,你可以从这里了解我之前发布的robots文章:新手学习详细的robots.txt写法
 

声明:本文原创归江西SEOSEO所有,转载请注明原文网址: http://www.qingpingseo.com/seoxuexi/129.html

围观: 1000次 | 责任编辑:江西SEO曾庆平

回到顶部