SEO学习教程网—提供SEO视频教程、SEO顾问服务、SEO培训教程、网站SEO优化诊断方案。

如果使用meta robots标签屏蔽搜索引擎蜘蛛抓取?

时间:2017-07-12 10:25:54 来源:未知 作者:江西SEO曾庆平 点击量:

前面一篇文章:robots文件如何屏蔽搜索引擎蜘蛛抓取页面?我们讲了robots文件设置不让搜索引擎蜘蛛抓取和收录页面。今天江西SEO曾庆平继续为大家讲一下meta robots标签屏蔽搜索引擎蜘蛛;meta robots标签是页面 head 部分 meta 标签的一种,用于指令搜索引擎禁止索引(收录)本页内容。

以下为引用的内容:
 
<html>
 
<head>
 
<meta name="robots" content="noindex,nofollow">
 
<meta name="description" content="This page ....">
 
<title>...</title>
 
</head>
 
<body>...
 
最简单的 meta robots 标签格式为:
 
<meta name="robots" content="noindex,nofollow">
 
上面标签的意义是禁止所有搜索引擎索引本页面,禁止跟踪本页面上的链接。Google、必应、雅虎都支持的 meta robots标签如下。如图:
 
meta robots 标签
 
NOINDEX: 告诉蜘蛛不要索引本页面。
 
NOFOLLOW: 告诉蜘蛛不要跟踪本页面上的链接。
 
NOSNIPPET: 告诉搜索引擎不要在搜索结果中显示说明文字。
 
NOARCHIVE: 告诉搜索引擎不要显示快照。
 
NOODP: 告诉搜索引擎不要使用开放目录中的标题和说明。
 
百度的官方说法是目前只支持NOFOLLOW和NOARCHIVE 。
 
meta robots 标签内容可以写在一起,以逗号间隔,中间可以有空格,也可以没有。多个meta robots 内容也可以写成不同标签。
 
<META NAME="ROBOTS" CONTENT="NOINDEX">
 
<META NAME="ROBOTS" CONTENT="NOFOLLOW">
 
与下面这个是一样的:
 
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
 
meta robots 标签不区分大小写。
 
只有禁止索引时,使用meta robots才有意义。

以下这个标签:
 
<META NAME="ROBOTS" CONTENT="INDEX, FOLLOW">
 
是没有意义的,等于没写。普通需要被收录、索引,链接需要被跟踪的页面,不用写meta robots 标签。
 
这个标签有时会用到:
 
<meta name="robots" content="noindex">
 
效果是禁止索引本页面,但允许蜘蛛跟踪页面上的链接,也可以传递权重。
 
使用了noindex meta robots 标签的页面会被抓取,但不会被索引(收录),页面URL不会出现在搜索结果中,这一点与robots文件不同。
 
抓取和索引(收录)是不同的概念。robots 文件的作用是禁止抓取,但不禁止索引,meta noindex 的作用是禁止索引/收录。如文章开始说明的,这两者的应用场景是完全不同的。
 
网上很多资料说meta noindex 的作用是禁止抓取,这是错误的,正相反,要让meta noindex 起作用,必须允许抓取,如果蜘蛛不抓取这个页面,根本看不到meta noindex 标签。
 
 
 
版权所有。转载时必须以链接形式注明作者和原始出处及本声明。
 
当前位置:SEO教程 > SEO高级教程 >

声明:本文由江西SEO和SEO教程网整理不代表个人观点,转载请注明原文,点击还能查看更多SEO培训的文章;本文网址: http://www.qingpingseo.com/seoxuexi/188.html

围观: 1000次 | 责任编辑:江西SEO曾庆平

回到顶部