搜索引擎分類與工作原理

搜索引擎分類

搜索引擎按其工作方式主要可分為三種，分別是全文搜索引擎（Full Text Search Engine）、目錄索引類搜索引擎（Search Index/）和元搜索引擎（Meta Search Engine）。

■全文搜索引擎

全文搜索引擎是名副其實的搜索引擎，國外具代表性的有Google、Fast/、、Inktomi、Teoma、WiseNut等，國內(nèi)著名的有百度（Baidu）。它們都是通過從互聯(lián)網(wǎng)上提取的各個網(wǎng)站的信息（以網(wǎng)頁文字為主）而建立的數(shù)據(jù)庫中，檢索與用戶查詢條件匹配的相關(guān)記錄，然后按一定的排列順序?qū)⒔Y(jié)果返回給用戶，因此他們是真正的搜索引擎。

■目錄索引

目錄索引雖然有搜索功能，但在嚴格意義上算不上是真正的搜索引擎，僅僅是按目錄分類的網(wǎng)站鏈接列表而已。用戶完全可以不用進行關(guān)鍵詞（）查詢，僅靠分類目錄也可找到需要的信息。目錄索引中最具代表性的莫過于大名鼎鼎的Yahoo雅虎。其他著名的還有Open Project（DMOZ）、、About等。國內(nèi)的搜狐、新浪、網(wǎng)易搜索也都屬于這一類。

■元搜索引擎 (META Search Engine)

元搜索引擎在接受用戶查詢請求時，同時在其他多個引擎上進行搜索，并將結(jié)果返回給用戶。著名的元搜索引擎有、Dogpile、等（元搜索引擎列表），中文元搜索引擎中具代表性的有搜星搜索引擎。在搜索結(jié)果排列方面，有的直接按來源引擎排列搜索結(jié)果，如Dogpile，有的則按自定的規(guī)則將結(jié)果重新排列組合，如

除上述三大類引擎外，還有以下幾種非主流形式：

1、集合式搜索引擎：如HotBot在2002年底推出的引擎。該引擎類似META搜索引擎，但區(qū)別在于不是同時調(diào)用多個引擎進行搜索，而是由用戶從提供的4個引擎當中選擇，因此叫它“集合式”搜索引擎更確切些。

2、門戶搜索引擎：如AOL Search、MSN Search等雖然提供搜索服務(wù)，但自身即沒有分類目錄也沒有網(wǎng)頁數(shù)據(jù)庫，其搜索結(jié)果完全來自其他引擎。

3、免費鏈接列表（Free For All Links，簡稱FFA）：這類網(wǎng)站一般只簡單地滾動排列鏈接條目，少部分有簡單的分類目錄，不過規(guī)模比起Yahoo等目錄索引來要小得多。

由于上述網(wǎng)站都為用戶提供搜索查詢服務(wù)，為方便起見，我們通常將其統(tǒng)稱為搜索引擎。

搜索引擎是怎么工作的

搜索引擎并不真正搜索互聯(lián)網(wǎng)，它搜索的實際上是預先整理好的網(wǎng)頁索引數(shù)據(jù)庫。真正意義上的搜索引擎，通常指的是收集了因特網(wǎng)上幾千萬到幾十億個網(wǎng)頁并對網(wǎng)頁中的每一個詞（即關(guān)鍵詞）進行索引，建立索引數(shù)據(jù)庫的全文搜索引擎。當用戶查找某個關(guān)鍵詞的時候，所有在頁面內(nèi)容中包含了該關(guān)鍵詞的網(wǎng)頁都將作為搜索結(jié)果被搜出來。在經(jīng)過復雜的算法進行排序后，這些結(jié)果將按照與搜索關(guān)鍵詞的相關(guān)度高低，依次排列。

現(xiàn)在的搜索引擎已普遍使用超鏈分析技術(shù)，除了分析索引網(wǎng)頁本身的內(nèi)容，還分析索引所有指向該網(wǎng)頁的鏈接的URL、、甚至鏈接周圍的文字。所以，有時候，即使某個網(wǎng)頁A中并沒有某個詞比如“惡魔撒旦”，但如果有別的網(wǎng)頁B用鏈接“惡魔撒旦”指向這個網(wǎng)頁A，那么用戶搜索“惡魔撒旦”時也能找到網(wǎng)頁A。而且，如果有越多網(wǎng)頁（C、D、E、F……）用名為“惡魔撒旦”的鏈接指向這個網(wǎng)頁A，或者給出這個鏈接的源網(wǎng)頁（B、C、D、E、F……）越優(yōu)秀，那么網(wǎng)頁A在用戶搜索“惡魔撒旦”時也會被認為更相關(guān)，排序也會越靠前。

搜索引擎的原理，可以看做三步：從互聯(lián)網(wǎng)上抓取網(wǎng)頁→建立索引數(shù)據(jù)庫→在索引數(shù)據(jù)庫中搜索排序

從互聯(lián)網(wǎng)上抓取網(wǎng)頁

利用能夠從互聯(lián)網(wǎng)上自動收集網(wǎng)頁的Spider系統(tǒng)程序，自動訪問互聯(lián)網(wǎng)，并沿著任何網(wǎng)頁中的所有URL爬到其它網(wǎng)頁，重復這過程，并把爬過的所有網(wǎng)頁收集回來。

建立索引數(shù)據(jù)庫

由分析索引系統(tǒng)程序?qū)κ占貋淼木W(wǎng)頁進行分析，提取相關(guān)網(wǎng)頁信息（包括網(wǎng)頁所在URL、編碼類型、頁面內(nèi)容包含的關(guān)鍵詞、關(guān)鍵詞位置、生成時間、大些與其它網(wǎng)頁的鏈接關(guān)系等），根據(jù)一定的相關(guān)度算法進行大量復雜計算，得到每一個網(wǎng)頁針對頁面內(nèi)容中及超鏈中每一個關(guān)鍵詞的相關(guān)度（或重要性），然后用這些相關(guān)信息建立網(wǎng)頁索引數(shù)據(jù)庫。

在索引數(shù)據(jù)庫中搜索排序

當用戶輸入關(guān)鍵詞搜索后，由搜索系統(tǒng)程序從網(wǎng)頁索引數(shù)據(jù)庫中找到符合該關(guān)鍵詞的所有相關(guān)網(wǎng)頁。因為所有相關(guān)網(wǎng)頁針對該關(guān)鍵詞的相關(guān)度早已算好，所以只需按照現(xiàn)成的相關(guān)度數(shù)值排序，相關(guān)度越高，排名越靠前。

最后，由頁面生成系統(tǒng)將搜索結(jié)果的鏈接地址和頁面內(nèi)容摘要等內(nèi)容組織起來返回給用戶。

搜索引擎的Spider一般要定期重新訪問所有網(wǎng)頁（各搜索引擎的周期不同，可能是幾天、幾周或幾月，也可能對不同重要性的網(wǎng)頁有不同的更新頻率），更新網(wǎng)頁索引數(shù)據(jù)庫，以反映出網(wǎng)頁內(nèi)容的更新情況，增加新的網(wǎng)頁信息，去除死鏈接，并根據(jù)網(wǎng)頁內(nèi)容和鏈接關(guān)系的變化重新排序。這樣，網(wǎng)頁的具體內(nèi)容和變化情況就會反映到用戶查詢的結(jié)果中。

互聯(lián)網(wǎng)雖然只有一個，但各搜索引擎的能力和偏好不同，所以抓取的網(wǎng)頁各不相同，排序算法也各不相同。大型搜索引擎的數(shù)據(jù)庫儲存了互聯(lián)網(wǎng)上幾億至幾十億的網(wǎng)頁索引，數(shù)據(jù)量達到幾千G甚至幾萬G。但即使最大的搜索引擎建立超過二十億網(wǎng)頁的索引數(shù)據(jù)庫，也只能占到互聯(lián)網(wǎng)上普通網(wǎng)頁的不到30%，不同搜索引擎之間的網(wǎng)頁數(shù)據(jù)重疊率一般在70%以下。我們使用不同搜索引擎的重要原因，就是因為它們能分別搜索到不同的內(nèi)容。而互聯(lián)網(wǎng)上有更大量的內(nèi)容，是搜索引擎無法抓取索引的，也是我們無法用搜索引擎搜索到的。

你心里應該有這個概念：搜索引擎只能搜到它網(wǎng)頁索引數(shù)據(jù)庫里儲存的內(nèi)容。你也應該有這個概念：如果搜索引擎的網(wǎng)頁索引數(shù)據(jù)庫里應該有你而沒有搜出來，那是你的能力問題，學習搜索技巧可以大幅度提高你的搜索能力。