早期的搜索引擎蜘蛛是通過結構層次一級一級的獲取內容的，后來鏈接分析出來以后，蜘蛛獲取的網狀效果就出來了，可以直接通過不同頁面之間的鏈接進行隨意獲取新頁面，有選擇性的進行訪問，以達到最快速接觸新頁面的目的，也加速了搜索引擎的成長。不過這里我們主要了解站點的結構層次方面，鏈接方面將會在接下來的內容中進行分享。
在上文《SEO全局觀：用戶體驗第一》的最后我問了
搜索引擎蜘蛛的問題，在這里我們假設這個搜索引擎的蜘蛛是第一次來訪問站點，為了讓它進入網站以后能高效率地進行內容抓取，網站建設前必須要考慮到結構的問題。一定要避免在后期進行結構方面的大改動，因為后期改動的成本太高。
如果在前期能夠為網站設置合理的結構層次，那么可以為我們后期的優化帶來事半功倍的效果。
目前來說網站主要有兩種結構方式：樹型、扁平型。
目前絕大部分的站點都在采用樹型結構，一部分站點采用了扁平型結構。還有少部分站點采用了極不符合搜索引擎抓取的結構層次。
我們先來看：扁平型
這是很理想化的一種狀態，就像我們在桌面上放置大量的常用快捷方式，讓我們快速打開文件非常方便。
在網站當中，通常發生在使用動態地址及偽靜態地址的站點，這種結構可以讓蜘蛛到達首頁后的一次路徑就到達最終內容頁面。
通常情況下，我們的站點可能有成千上萬的頁面，如果想要實現這種方式，是極為困難的。
但一些小型的站點是可以做到的，比如只有不到幾十個頁面的企業站點。完全可以想辦法讓蜘蛛一次到達最終內容頁。
接下來我們看：樹型
上圖是一張很典型的樹型結構，類似我們的硬盤分區，每個區有不同的文件夾，文件夾下有不同的文件，層級一直可以循環下去。
假如你的網站內容不多，上圖的這三種層級足夠用了。不過一些內容相對較多的站點，可能存在維護方面的問題，相對來說在第二層級可能再細分層級。
通常采用這種結構的站點，URL在一定程度上會相對具有語義，有利于蜘蛛理解內容結構以及后期我們對SEO方面進行的各種分析。
可以看到上圖的箭頭指向基本上都是單一化的，從首頁至欄目再至內容，或者從首頁至專題再至內容，或者從首頁直接至內容。
其實上圖也是一種很理想化的層次了，首頁直接至內容的箭頭有可能不會發生或者影響的內容頁非常少，因為首頁的位置是有限的，對于大型站點來說，不可能在首頁堆積上萬個內容頁面的鏈接。
那么我們只能對內容采取分流的形式，放置于第二層級的頁面列表當中。
在第三層級的內容，如果不能在第一層級得到展示，那么一定要在第二層級進行展示，否則蜘蛛可能找不到這些內容，造成收錄減少。
有的時候即使我們采取了在第二層級展示的辦法，也會因為第二層級的內容過多，如列表頁面非常多的時候，蜘蛛要通過不斷地進行翻頁進入第2個、第3個、第N個列表頁，這樣一樣會造成一些內容無法被訪問到。這就是樹型結構的弱點。如下圖中的效果：
這兩種結構的好處及可能產生的問題：
用扁平型結構做出來的站點，由于結構層次短，
蜘蛛效率高，收錄會加快，而且會帶來好的排名效果，因為搜索引擎，尤其在
百度上，短的URL通常占有一定的優勢。
但是這種結構的層級是不能從URL上識別出來的，不只是語義上會有一些問題，蜘蛛在對站點進行整體分析的時候也會存在問題，從鏈接上來說，權值傳遞起來可能存在不集中的后果，導致內鏈方面的效果無法很好地體現。從管理上來說，頁面數據越多導致后期管理越麻煩，因為沒有分類，就像桌面圖標排滿了以后，效率越來越低，長時間找不到文件一樣。
用樹型結構做出來的站點，結構清楚，URL語義明確，識別度高，搜索引擎處理內部鏈接的權值傳遞會比較容易，后期管理比較容易。
那樹型結構還有一些好處就是，在后期收錄量的分析上面，我們可以通過類似：“inurl：目錄URL site：域名”的方式進行。
但這種結構可能導致收錄存在一些問題，就是一些頁面無法在3次點擊之內到達，蜘蛛獲取困難，導致收錄周期長或者丟失收錄。
當然這是可以處理的，針對搜索引擎來解決上面樹型結構問題的時候，我們基本上都是通過站點地圖進行處理。做出的這個站點地圖應該盡量靠近扁平型的結構，讓蜘蛛在3次點擊之內到達最終內容頁面。如果大家觀察仔細，分析過一些大型站點的，應該可以了解到他們的站點地圖是非常強大的，有的網站僅地圖頁面就有幾萬的收錄量，已經能夠很好的幫助到蜘蛛獲取內容。
最后，大家一定要根據自己站點本身的要求來進行規劃，如果內容量比較少的，就像blog.robinclub.org 一樣，用扁平型結構吧，因為這個數量級的內容完全可以使用這種結構。如果你想做一個幾萬甚至十萬、百萬級別內容的站點，就應該仔細考慮了。希望這篇內容對大家有所幫助。
