導讀：我們現在正處在一個信息過載的時代。

全世界每年產生1EB到2EB (1EB≈1018B)信息，相當于地球上每個人每年大概產生250MB信息。其中，紙質信息僅占所有信息的0.03%。

靜態網頁有上百億，動態及隱藏網頁至少是靜態網頁的500倍。Tom 認為人的大腦只能存儲約200MB信息，一生只能接觸約6GB信息。

近些年，大數據技術的出現及發展、深度學習以及神經網絡計算能力的提高，加速提高了我們對信息的處理能力，但是并沒有緩解信息過載給我們造成的影響。搜索引擎成為我們獲取信息的主要手段之一

01 什么是搜索引擎及搜索系統

信息檢索（ ，IR）是從文檔集合中返回滿足用戶需求的相關信息的過程。它是一門研究信息獲取（）、表示（）、存儲（Storage）、組織（）和訪問（Access）的學科。

檢索來自，有些人把它翻譯成獲取，本義是獲得與輸入要求相匹配的輸出。

而搜索來自Search，指帶有目的性地尋找。信息檢索不僅僅是指搜索，信息檢索系統（IR System）也不僅僅是搜索引擎。

搜索引擎是指根據一定的策略、運用特定的計算機程序從互聯網上搜集信息，在對信息進行組織和處理后，將用戶檢索到的相關信息展示給用戶，為用戶提供檢索服務。

搜索引擎包括4個接口，分別是搜索器、索引器、檢索器、用戶接口。

具體的搜索引擎架構示意圖如下所示

搜索系統的概念可以從如下兩方面解釋。

系統角度。從系統角度來看，搜索系統是一個更廣泛的概念，包括搜索引擎。具有相關性計算和分析的系統都可以歸為搜索系統。除了我們常說的搜索引擎外，搜索系統還應該包括外部支持的業務場景和應用領域等特征。

用戶角度。從用戶角度來看，搜索系統的輸出是對用戶需求的投射，因此我們在設計搜索系統時需要觀察用戶對檢索結果的反應，除此之外，還得考慮相應的應用場景以及搜索工程。

02 搜索引擎的發展史

20世紀90年代，Tim Berners-Lee開啟了互聯網時代，并使其獲得大規模發展。1990年，Tim Berners-Lee開發出世界上第一個Web服務器和第一個Web客戶端，被命名為萬維網（World Wide Web，WWW）。

次年，世界上第一個WWW網站info.cern.ch成立，伴隨該網站成立的還有HTTP傳輸協議及相應的HTML等Web服務技術的誕生。1993年，NCSA發明了第一個顯示圖片的瀏覽器Mosaic，隨后客戶端瀏覽器逐漸趨于成熟。這些技術為互聯網的快速發展奠定了基礎。

互聯網的快速發展使得搜索引擎的出現成為必然。1990年，第一個互聯網搜索引擎Archie出現，主要用于搜索FTP服務器上的文件。

在用戶準確輸入文件名的前提下，Archie可以準確地告訴用戶該文件的位置。雖然Archie搜索的內容不是網頁，但工作原理與網頁搜索相似：自動搜索信息資源、建立索引、提供檢索服務。

1995年，Excite搜索引擎正式上線，它是早期流行的搜索引擎之一。Excite的出現可以追溯到1993年2月，起由是6名斯坦福大學生想通過分析字詞關系對互聯網的大量信息進行有效檢索。

Excite以概念檢索聞名，是搜索引擎技術—文本檢索的代表。文本檢索一般包括布爾模型、向量空間模型等，主要用于計算用戶查詢關鍵詞和網頁文本內容的相似度。

1995年4月，Yahoo正式成立。其由斯坦福大學博士楊致遠和大衛·費羅創建。隨著訪問量和收錄鏈接數的增長，Yahoo對互聯網上重要站點的目錄進行分類整理，迎合了用戶需求，從而得到快速成長。

Yahoo也成為“目錄導航”搜索引擎技術的代表。該技術提高了被收錄網站的質量，但不便于擴展且收錄網站數量較少。

1998年9月，拉里·佩奇和謝爾蓋·布林共同創建Google公司，其以鏈接分析等新技術大幅度提高搜索質量，成為占有搜索引擎市場份額最大的公司。

Google是鏈接分析技術的代表，其充分利用網頁之間的鏈接關系，考慮網頁鏈入的數量和質量，從而計算網頁的排名，提升搜索質量。

2000年1月，中國最大的搜索引擎公司百度成立，并一舉成為國內最大的搜索引擎。目前，百度不再只是某一搜索引擎技術的使用，其試圖通過用戶查詢、地理位置以及歷史行為（搜索、點擊、瀏覽）去理解用戶此刻真正的需求。

統計的2019年1月～12月全球搜索引擎市場份額中，Google占比高達92.63%，微軟的Bing和雅虎分別位居第二和第三，百度排在第四位。

統計的2019年1月～12月中國國內搜索引擎市場份額占比中，百度依靠本地化優勢，以67.51%的占比排在第一位，搜狗和神馬排在第二和第三。

在互聯網快速發展的今天，信息正呈爆炸式增長，如何在信息過載的環境下快速有效地定位到目標信息成為關鍵問題。

搜索是解決信息過載較為有效的方式。搜索引擎通過對互聯網資源整理和分類，并將其存儲在數據庫中為用戶提供查詢服務，包括信息搜集、信息分類、用戶查詢等。

因此，作為互聯網網站和應用的入口，搜索引擎的地位越來越重要。

03 搜索引擎的分類

搜索引擎可以分為以下4類：全文搜索引擎、元搜索引擎、垂直搜索引擎、目錄搜索引擎。下面對這4類搜索引擎進行具體介紹。

1. 全文搜索引擎

計算機通過掃描文章中的每個詞，對每個詞建立索引，記錄詞匯在文章中出現的次數和位置信息。當用戶進行查詢時，計算機按照事先建立好的索引進行查找，并將結果反饋給用戶。按照數據結構的不同，全文搜索可以分為結構化數據搜索和非結構化數據搜索。

對于結構化數據，全文搜索一般是通過關系型數據庫的方式進行存儲和搜索，也可以建立索引。

對于非結構化數據，全文搜索主要有兩種方法：順序掃描和全文檢索。

2. 元搜索引擎

按照功能劃分，搜索引擎可以分為元搜索引擎（Meta Search Engine）和獨立搜索引擎（ Search Engine）。

元搜索引擎是一種調用其他獨立搜索引擎的搜索引擎，其能對多個獨立搜索引擎進行整合、調用并優化結果。獨立搜索引擎主要由網絡爬蟲、索引、鏈接分析和排序等部分組成；元搜索引擎由請求提交代理、檢索接口代理、結果顯示代理三部分組成，不需要維護龐大的索引數據庫，也不需要爬取網頁。

元搜索引擎具體實現邏輯如下圖所示

請求提交代理就是將請求分發給獨立搜索引擎。元搜索引擎可以按照用戶需求和偏好請求實際需要調用的獨立搜索引擎，該方式能夠有效提升用戶查詢的準確率和響應效率。

檢索接口代理是將查詢內容轉化成獨立搜索引擎能夠接受的模式，并且保證不會丟失必需的語義信息。結果顯示代理是元搜索引擎按照用戶的需求采用不同的排序方式對結果進行去重、排序。元搜索引擎常用的排序方式有：相關度排序、時間排序、搜索引擎排序等。

元搜索引擎的整體工作流程如下：

3. 垂直搜索引擎

垂直搜索引擎是針對某個行業的專業搜索引擎，是搜索引擎的細分和延伸，對特定人群、特定領域、特殊需求提供服務。它的特點是專業、精確和深入。垂直搜索引擎將搜索范圍縮小到極具針對性的具體信息。

垂直搜索引擎的結構與通用搜索系統類似，主要由三部分構成：爬蟲、索引、搜索。但垂直搜索的表現方式與Google、百度等搜索引擎在定位、內容、用戶等方面存在一定的差異，所以它不是簡單的行業搜索引擎。

用戶使用通用搜索引擎時，通常是通過關鍵字進行搜索，該搜索方式一般是語義上的搜索，返回的結果傾向于文章、新聞等，即相關知識。垂直搜索的關鍵字搜索是放到一個行業知識的上下文中，返回的結果是消息、條目。對于有購房需求的人來說，他們希望得到的信息是供求信息而不是關于房子的文章和新聞。

4. 目錄搜索引擎

目錄搜索引擎是網站常用的搜索方式，類似于書本章節目錄。該搜索方式是對網站信息整合處理并分目錄呈現給用戶，整合處理的過程一般需要人工維護，更新速度較慢，而且用戶需要事先了解網站的基本內容，熟悉主要模塊，所以應用場景越來越少。