企業網站必須要注意避免的蜘蛛陷阱
第一、FLASH
有(yǒu)的網站整個首頁(yè)就是一個很(hěn)大的flash，這就構成了蜘蛛陷阱。搜索引擎住宅區(qū)的html代碼隻有(yǒu)一個鏈向flash文(wén)件的鏈接，沒有(yǒu)其他(tā)文(wén)字内容。
還有(yǒu)網站在首頁(yè)的banner就使用(yòng)一個flash，并且添加活動鏈接，雖然對用(yòng)戶來說能(néng)夠直觀的看到活動内容，但是對于蜘蛛來說，就無法識别，而且抓取不到flash的鏈向地址。
第二、Session ID
有(yǒu)些網站使用(yòng)sission ID（會話ID）跟蹤用(yòng)戶訪問，每個用(yòng)戶訪問都會生成一個獨特唯一的session ID，加在URL中(zhōng)。搜索引擎蜘蛛的每一次訪問也會被當成一個新(xīn)的用(yòng)戶，URL中(zhōng)會加上一個不同的session ID，這樣搜索引 擎每次來訪問時所得到的同一個頁(yè)面的URL将不一樣，後面帶着一個不一樣的session ID。這也是最常見的蜘蛛陷阱之一。
第三、各種跳轉
除了301跳轉以外，搜索引擎蜘蛛對其他(tā)形式的跳轉都比較敏感，如302跳轉，javascript跳轉、meta refresh 跳轉。
如果必須轉向，301轉向是搜索引擎推薦的、用(yòng)于網站更改的轉向，可(kě)以吧頁(yè)面權重從舊網址轉移到新(xīn)網址。其他(tā)的轉向方式都對蜘蛛爬行不利。所以除非萬不得已，盡量不要使用(yòng)301轉向以外的跳轉。
第四、框架結構
使用(yòng)框架結構設計頁(yè)面，在網站誕生初期曾經聽流行，但是現在網站已經很(hěn)少使用(yòng)框架了，不利于搜索引擎抓取是框架越來越不流行的重要原因之一，對于搜索引擎來說，訪問一個使用(yòng)框架的網址所抓取的html隻包含調用(yòng)其他(tā)html文(wén)件的代碼，并不包含任何文(wén)字信息。搜索引擎無法判斷這個網址的内容是什麽。
總之，如果你的網站還在使用(yòng)框架，或者你的老闆要使用(yòng)框架結構，唯一要記住的是，忘記使用(yòng)框架這回事。和Flash一樣，别浪費時間研究怎麽讓搜索引擎收錄框架結構網站。
第五、動态URL
動态URL值的是數據庫驅動的網站所生成的、帶有(yǒu)問号、等号及參數的網址。一般來說動态URL不利于搜索引擎蜘蛛爬行，應該盡量避免。雖然百度現在已經能(néng)夠識别動态URL了，但是也不能(néng)保證百分(fēn)百能(néng)識别。
第六、javaScript鏈接
由于javaScript可(kě)以創再出很(hěn)多(duō)吸引人的視覺效果，有(yǒu)些網站喜歡使用(yòng)javascript腳本生成導航系統。這也是比較嚴重的蜘蛛陷阱之一，雖然搜索引擎都在嘗試解析JS腳本，不過我們不能(néng)寄希望與搜索引擎自己去客服困難，而要讓搜索引擎跟蹤爬行鏈接的工(gōng)作(zuò)盡量簡單容易。
jacascritp鏈接在SEo中(zhōng)也有(yǒu)特殊用(yòng)途，那就是站長(cháng)不希望被收錄的頁(yè)面，比希望被百度抓起的鏈接，可(kě)以使用(yòng)javascript腳本阻止搜索引擎蜘蛛爬行
第七、要求登錄
有(yǒu)些網站的内容需要用(yòng)戶登錄後才能(néng)看到的頁(yè)面，這部分(fēn)内容搜索引擎是無法看到的。這個要注意确定是否是需要登錄以後才能(néng)看到。
第八、強制使用(yòng)cookies
很(hěn)多(duō)網站為(wèi)了實現某種功能(néng)，強制使用(yòng)cookies,用(yòng)戶浏覽器如果沒有(yǒu)啓用(yòng)cookies，頁(yè)面顯示不正常。搜索引擎蜘蛛就相當于一個禁止了cookies的浏覽器，強制使用(yòng)cookies隻能(néng)造成搜索引擎蜘蛛無法正常訪問。