在意識層面，站長(cháng)對SEO可以形象理解為: 當用戶(hù)進(jìn)入搜索引擎，就好像進(jìn)入了一個(gè)偌大的圖書(shū)館。那么在這個(gè)圖書(shū)館里面有非常多的分類(lèi),分類(lèi)分成大分類(lèi)（可以理解為書(shū)架）小分類(lèi)（可以理解為書(shū)架上面的格子）以及具體到小的分類(lèi)（書(shū)的內容）！

百度蜘蛛是怎么來(lái)抓取網(wǎng)頁(yè)的，基礎流程是什么？簡(jiǎn)單說(shuō)一說(shuō)。
       蜘蛛工作的步：爬行你網(wǎng)站的網(wǎng)頁(yè)，尋找合適的資源。
       蜘蛛它有一個(gè)特性，那就是他的運動(dòng)軌跡通常都是圍繞著(zhù)蜘蛛絲而走的，而我們之所以將搜索引擎的機器人命名為蜘蛛其實(shí)就是因為這個(gè)特性。當蜘蛛來(lái)到你的網(wǎng)站之后，它就會(huì )順著(zhù)你網(wǎng)站中的鏈接（蜘蛛絲）不斷的進(jìn)行爬行，因此如何讓蜘蛛能夠更好的在你的網(wǎng)站中進(jìn)行爬行就成為了我們的重中之重。

這個(gè)時(shí)候我們經(jīng)常會(huì )建議站長(cháng)們用的手法就是在網(wǎng)站上多一些調用，這些調用均是調用網(wǎng)站內部的一些文章，這種做法是大多數站長(cháng)的選擇，不論是相關(guān)閱讀，還是推薦閱讀，亦或者是其它的排行榜之類(lèi)的……
        蜘蛛工作的第二步：抓取你的網(wǎng)頁(yè)。
        引導蜘蛛的爬行這只是一個(gè)開(kāi)始，一個(gè)好的開(kāi)始意味著(zhù)你將有一個(gè)高起點(diǎn)。通過(guò)自己的內鏈設計，使得網(wǎng)站中不存在任何死角，蜘蛛可以輕松的到達網(wǎng)站中的每一個(gè)頁(yè)面，這樣蜘蛛在進(jìn)行第二步工作——抓取的時(shí)候，將會(huì )事半功倍。
        而在這一步抓取的過(guò)程中我們又需要注意的就是要精簡(jiǎn)網(wǎng)站的結構，將那些不必要、不需要的多余代碼去掉，因為這些都將會(huì )影響蜘蛛抓取網(wǎng)頁(yè)的效率與效果。另外還需要大家注意的事情就是通過(guò)我們都不建議網(wǎng)站中放入FLASH，因為蜘蛛對于FLASH是不好抓取的，過(guò)多的FLASH會(huì )導致蜘蛛放棄抓取你網(wǎng)站的頁(yè)面。
        蜘蛛工作的第三步：優(yōu)質(zhì)的文章，能夠極大的提高蜘蛛抓取頁(yè)面的幾率。
        到底是外鏈為皇還是內容為皇這個(gè)已經(jīng)不重要了，也不是我們這里要討論的東西，但僅僅只是從這句話(huà)中我們就能清楚的知道內容的重要性了。同樣的，蜘蛛也非常看重內容，一篇優(yōu)質(zhì)的原創(chuàng )文章可以很好的打動(dòng)蜘蛛，讓蜘蛛僅僅只是爬了一遍就迫不及待的將其帶回。而相反，一篇抄襲、復制而來(lái)的文章，很有可能蜘蛛需要反復爬行幾次、甚至幾十次才有可能將其帶回，并且還極有可能根本就無(wú)視其存在。
當然這也不是絕對的，我們說(shuō)的只是一個(gè)相對而言的東西，在同等條件下的兩篇文章，優(yōu)質(zhì)的原創(chuàng )文章更加容易被蜘蛛所接受。
        蜘蛛工作的第四步：頁(yè)面放出。
        這里我們所說(shuō)的頁(yè)面放出指的是在搜索引擎中可以被正常搜索到了，之所以說(shuō)第四步是這一步而不是索引，是因為我覺(jué)得做為我們SEOER，應該盡量簡(jiǎn)化研究的過(guò)程。
        當蜘蛛將頁(yè)面抓取完成之后帶回索引庫之后，一切的一切就將不再是我們所能夠控制的了，所以我在這里跳過(guò)了索引這一步而是直接談到放出頁(yè)面這一步

http://www.ezekroy.com/youhuazixun/1891.html 百度蜘蛛如何抓取頁(yè)面,百度蜘蛛工作原理及爬行軌跡