江西SEO优化—提供SEO顾问服务、网站SEO优化诊断方案(合作微信/QQ:707468216)

搜索引擎倒排索引基本概念

时间:2017-02-22 14:15 来源:未知 作者:江西SEO曾庆平

在本篇文章,我们会解释倒排索引常用到的一些专用术语,为了表达的便捷性,在本网站后续章节会直接使用这些术语。
 
文档(Document):一般搜索引擎的处理对象是互联网网页,而文档这个概念要更宽泛些,代表以文本形式存在的存储对象。相比网页来说,涵盖更多形式,比如Word、PDF、html、XML等不同格式的文件都可以称为文档,再比如一封邮件、一条短信、一条微博也可以称为文档。在本书后续内容中,很多情况下会使用文档来表征文本信息。
 
文档集合(Document Collection):由若干文档构成的集合称为文档集合。比如海量的互联网网页或者说大量的电子邮件,都是文档集合的具体例子。
 
文档编号(Document ID):在搜索引擎内部,会为文档集合内每个文档赋予一个唯一的内部编号,以此编号来作为这个文档的唯一标识,这样方便内部处理。每个文档的内部编号即称为文档编号,后文有时会用。oclD来便捷地代表文档编号。
 
单词编号(Word ID):与文档编号类似,搜索引擎内部以唯一的编号来表征某个单词单词编号可以作为某个单词的唯一表征。
 
倒排索引(Inverted Index):倒排索引是实现单词一文档矩阵的一种具体存储形式。通过倒排索引,可以根据单词快速获取包含这个单词的文档列表。倒排索引主要由两个部分组成:单词词典和倒排文件单词词典(Lexicon):搜索引擎通常的索引单位是单词,单词词典是由文档集合中出现过的所有单词构成的字符串集合,单词词典内每条索引项记载单词本身的一些信息及指向倒排列表的指针。
 
倒排列表(PostingList):倒排列表记载了出现过某个单词的所有文档的文档列表及单词在该文档中出现的位置信息,每条记录称为一个倒排项(Posting )。根据倒排列表,即可获知哪些文档包含某个单词。
 
倒排文件(Inverted File):所有单词的倒排列表往往顺序地存储在磁盘的某个文件里这个文件即被称为倒排文件,倒排文件是存储倒排索引的物理文件。
 
倒排索引基本概念示意图
 
关于这些概念之间的关系,通过图中可以比较清晰地看出来。

 
版权所有。转载时必须以链接形式注明作者和原始出处。请大家尊重原创,珍惜别人的汗水!

声明:本文原创归江西SEO所有,转载请注明原文网址: http://www.qingpingseo.com/zimeiti/293.html

围观: 1000次 | 责任编辑:江西SEO曾庆平

回到顶部