江西SEO:网站蜘蛛日志是什么及分析网站日志的必要性

时间:2018-09-18 12:39:55 来源:SEO 作者:江西SEO曾庆平 点击量:

之前江西SEO写过一篇文章《如何正确设置robots.txt协议文件?》,从中应该也知道,身为SEO从业者,分析网站蜘蛛日志是很有必要的一件事!而往往现在很少有人去分析网站日志了,这是一个反常现象,因为当网站收录下降的时候,你就要通过网站日志去判断具体是什么原因?而当网站流量异常的时候你也可以通过网站日志去查看每天的用户数据及来路,这样能更好的判断流量异常原因及得出解决方案。现在我们来了解一下什么是网站蜘蛛日志及分析网站日志的必要性。

一、什么是网站日志?

网站日志是一个通过工具或者Excel表格等类似的工具分析蜘蛛是否来过,可以从工具中分析出来的网站日志查看。一般的情况下,我们都使用ftp工具,网站日志均为空间商会给你提供下载地址。一般是在weblog文件中,我们可以直接从中获取站点的日志文件。网站日志分析是每天生成一次,但是对于网站较大,站点内容较多的可以设置每小时生成一次。
 

网站蜘蛛日志

二、那么我们如何分析网站日志呢?

61.135.168.22 - - [25/Jun/2018:06:04:45 +0800] " /SEO/1.html HTTP/1.1" 200 8450 "-" "Baiduspider+(+https://www.baidu.com/search/spider.htm)"

上面的代码是我从自己的服务器中下载下来的一段网站日志,分解开的意思如下:

61.135.168.22:来路IP,也就是说这个用户或者蜘蛛进来我们网站的IP是多少。

25/Jun/2018:06:04:45:时间2018年6月25日早上6点04分45秒。

/SEO/1.html:蜘蛛访问的页面,加上网站的主域名如:https://91wings.com/SEO/1.html

200:表示能够正常访问你的网站。

3457:表示此次加载了8450个字节。

Baiduspider:百度蜘蛛的全名。

以上是网站日志分析的细节,那么以上的内容有两点是我们需要注意的,那就是HTTP状态码和蜘蛛名的解析。

常见HTTP状态码有:

200 - 服务器成功返回网页

301- 页面跳转

404 - 请求的网页不存在

500 - 服务器出现错误

常见的蜘蛛名称:

百度(Baidu)爬虫名称(Baiduspider)

谷歌(Google)爬虫名称(Googlebot)

雅虎(Yahoo)爬虫名称(Yahoo Slurp)

有道(Yodao)蜘蛛名称(YodaoBot)

搜狗(sogou)蜘蛛名称(sogou spider)

MSN的蜘蛛名称:msnbot

有了这些基础之后,我们就基本能掌握网站蜘蛛日志分析了,同时,我们通过分析蜘蛛日志,就可以判断蜘蛛来到我们网站之后都抓取了那些儿页面,如果发现有很多不必要的页面频繁抓取,就可以通过robots文件进行屏蔽,详细可以参考江西SEO的如何正确设置robots.txt协议文件?
 

当前位置:SEO教程 > SEO基础教程 >

声明:本文由江西SEO和SEO教程网整理不代表个人观点,转载请注明原文,点击还能查看更多SEO培训的文章;本文网址: http://www.qingpingseo.com/jiaocheng/1993.html

围观: 1000次 | 责任编辑:江西SEO曾庆平

回到顶部
点击关闭
  • SEO在线客服代码 SEO在线客服代码 SEO在线客服代码