江西SEO优化—提供SEO优化技术、SEO顾问服务、SEO培训教程、网站SEO优化诊断方案。

搜索引擎工作原理之索引技术(二)

时间:2016-10-12 16:26 来源:SEO优化 作者:江西SEO曾庆平 点击量:

上一篇文章江西SEO曾庆平给大家讲解了:搜索引擎工作原理之索引技术(一);这篇文章还是继续接着上篇讲搜索引擎的索引原理。
 
5.去重
 
搜索引擎还需要对页面进行去重处理。同一篇文章经常会重复出现在不同网站及同一个网站的不同网址上,搜索引擎并不喜欢这种重复性的内容。用户搜索时,如果在前两页看到的都是来自不同网站的同一篇文章,用户体验就太差了,虽然都是内容相关的。搜索引擎希望只返回相同文章中的一篇,所以在进行索引前还需要识别和删除重复内容,这个过程就称为“去重”。
 
去重的基本方法是对页面特征关键词计算指纹,也就是说从页面主体内容中选取最有代表性的一部分关键词(经常是出现频率最高的关键词),然后计算这些关键词的数字指纹。这里的关键词选取是在分词、去停止词、消噪之后。实验表明,通常选取10个特征关键词就可以达到比较高的计算准确性,再选取更多词对去重准确性提高的贡献也就不大了。
 
典型的指纹计算方法如MDS算法(多维尺度分析算法也叫降维算法,不懂可以去百度一下)。这类指纹算法的特点是,输入(关键词)有任何微小的变化,都会导致计算出的指纹有很大差距。
 
了解了搜索引擎的去重算法,SEO人员就应该知道简单地增加“的”、“地”、“得’、调换段落顺序这种所谓伪原创,并不能逃过搜索引擎的去重算法,因为这样的操作无法改变文章的特征关键词。而且搜索引擎的去重算法很可能不止于页面级别,而是进行到段落级别,混合不同文章、交叉调换段落顺序也不能使转载和抄袭变成原创。
 
搜索引擎索引原理图
 
6.正向索引
 
正向索引也可以简称为索引。
 
经过文字提取、分词、消噪、去重后,搜索引擎得到的就是独特的、能反映页面主体内容的、以词为单位的内容。接下来搜索引擎索引程序就可以提取关键词,按照分词程序划分好的词,把页面转换为一个关键词组成的集合,同时记录每一个关键词在页面上的出现频率、出现次数、格式(如出现在标题标签、黑体、H标签、锚文本等)、位置(如页面第一段文字等)。这样,每一个页面都可以记录为一串关键词集合,其中每个关键词的词频、格式、位置等权重信息也都记录在案。
 
搜索引擎索引程序将页面及关键词形成词表结构存储进索引库。简化的索引词表形式如图表2-1所示。
 
简化的索引词表形式
 
每个文件都对应一个文件ID,文件内容被表示为一串关键词的集合。实际上在搜索引擎索引库中,关键词也已经转换为关键词ID。这样的数据结构就称为正向索引。
 
7.倒排索引
 
正向索引还不能直接用于排名。假设用户搜索关键词2,如果只存在正向索引,排名程序需要扫描所有索引库中的文件,找出包含关键词2的文件,再进行相关性计算。这样的计算量无法满足实时返回排名结果的要求。
 
所以搜索引擎会将正向索引数据库重新构造为倒排索引,把文件对应到关键词的映射转换为关键词到文件的映射,如图表2-2所示。
 
倒排索引关键词表
 
在倒排索引中关键词是主键,每个关键词都对应着一系列文件,这些文件中都出现了这个关键词。这样当用户搜索某个关键词时,排序程序在倒排索引中定位到这个关键词,就可以马上找出所有包含这个关键词的文件。
 
8.链接关系计算
 
链接关系计算也是预处理中很重要的一部分。现在所有的主流搜索引擎排名因素中都包含网页之间的链接流动信息。搜索引擎在抓取页面内容后,必须事前计算出:页面上有哪些链接指向哪些其他页面,每个页面有哪些导入链接,链接使用了什么锚文本,这些复杂的链接指向关系形成了网站和页面的链接权重。
 
Google PR值就是这种链接关系的最主要体现之一。其他搜索引擎也都进行类似计算,虽然它们并不称为PR。由于页面和链接数量巨大,网上的链接关系又时时处在更新中,因此链接关系及PR的计算要耗费很长时间。关于PR和链接分析,后面还有专门的文章介绍。
 
9.特殊文件处理
 
除了HTML文件外,搜索引擎通常还能抓取和索引以文字为基础的多种文件类型,如PDF, Word, WPS, XLS, PPT, TXT文件等。我们在搜索结果中也经常会看到这些文件类型。但目前的搜索引擎还不能处理图片、视频、Flash这类非文字内容,也不能执行脚本和程序。
 
虽然搜索引擎在识别图片及从Flash中提取文字内容方面有些进步,不过距离直接靠读取图片、视频、Flash内容返回结果的目标还很远。对图片、视频内容的排名还往往是依据与之相关的文字内容,详细情况可以参考后面的整合搜索部分。
 

声明:本文由江西SEOSEO整理不代表个人观点,转载请注明原文,点击还能查看更多SEO教程SEO培训的文章;本文网址: http://www.qingpingseo.com/jiaocheng/163.html

围观: 1000次 | 责任编辑:江西SEO曾庆平

回到顶部