搜索引擎就是一種程序，自動(dòng)從因特網(wǎng)搜集信息，經(jīng)過(guò)一定整理以后，提供給用戶(hù)進(jìn)行查詢(xún)的系統。搜索引擎可以分為：百度蜘蛛： Baiduspider ， 360蜘蛛：360spider   ，谷歌蜘蛛：geoglebot等。

       搜索引擎的工作原理一般來(lái)說(shuō)可以分為四步來(lái)完成，抓取，過(guò)濾，存取，排序。
      1.抓取，搜索引擎順著(zhù)網(wǎng)頁(yè)中的超鏈接在互聯(lián)網(wǎng)中發(fā)現，搜索網(wǎng)頁(yè)信息，然后再抓取里面的內容。從抓取的方式來(lái)看，可以分為深度抓取和廣度抓取。深度抓取就是搜索引擎沿著(zhù)網(wǎng)站的內部結構進(jìn)行抓取，比如先抓取頁(yè)，再抓取欄目頁(yè)，然后再抓取詳情頁(yè)，就象樹(shù)形結構一樣，先到主干，然后到樹(shù)枝，再到枝稍。一般結構超過(guò)三層，就不利于搜索引擎抓取了。不利于搜索引擎抓取和內容有JS，圖片，視頻，iframe框架，以及層級多的嵌套。

     2.過(guò)濾，搜索引擎抓取了網(wǎng)頁(yè)上的信息以后，就會(huì )把數據存放入臨時(shí)數據庫。然后搜索引擎把一些低質(zhì)量的頁(yè)面，比如采集來(lái)的，沒(méi)有豐富內容的，文不對題的頁(yè)面過(guò)濾掉。把它們當作垃圾一樣，處理掉了。
     3.存儲，搜索引擎對一些高質(zhì)量的，對用戶(hù)有價(jià)值的，符合用戶(hù)體驗的內容就把它們存放在數據庫中。以方便用戶(hù)進(jìn)行搜索查詢(xún)進(jìn)，隨時(shí)可以調取。
     4.排序，檢索器根據用戶(hù)輸入的查詢(xún)的關(guān)鍵詞在索引庫中快速檢出文檔，進(jìn)行文檔與查詢(xún)的相關(guān)度評價(jià)，對將要輸出的結果進(jìn)行排序。當我們看到在搜索引擎看到的只是一種強果，搜索引擎根據各種算法，把某個(gè)關(guān)鍵詞的展現在頁(yè)的位。

http://www.ezekroy.com/youhuazixun/1885.html 如何根據搜索引擎工作原理來(lái)進(jìn)行網(wǎng)站優(yōu)化