對于真假百度蜘蛛，之前我是沒(méi)有了解過(guò)，相信SEO及站長(cháng)們已經(jīng)有明確的手段去辨別了。百度也在官方通告了如何去判別偽裝成百度蜘蛛的抓取，詳情請參考搜索引擎優(yōu)化指南。假蜘蛛對我們網(wǎng)站的危害是巨大的，以下我我們就簡(jiǎn)單的讓大家了解一下：

　　占用網(wǎng)站帶寬，導致網(wǎng)站流量上升，增加額外開(kāi)銷(xiāo)，在有限帶寬的前提下，阻礙了正常蜘蛛的抓取，誤導了我們在對網(wǎng)站開(kāi)展SEO工作時(shí)的思路，部分偽裝成假蜘蛛的采集工具剽竊了我們的工作，我們看到，網(wǎng)上有很多人在分享如何“捉住”假蜘蛛的文章，但這些文章只是千篇一律的描述了“捉住”假蜘蛛的過(guò)程及操作方法。卻沒(méi)有分享從如何真正的判別蜘蛛的真偽。濟南網(wǎng)站優(yōu)化近期在對一個(gè)電商網(wǎng)站進(jìn)行SEO優(yōu)化時(shí)，就碰到了這樣一個(gè)案例，險些導致將真蜘蛛錯當假蜘蛛來(lái)處理。

一、發(fā)現“假蜘蛛”

　　SEO優(yōu)化要依靠大量的分析和數據來(lái)實(shí)現，其中日志分析是重中之重，在日志中我們可以看到很多平時(shí)統計工具無(wú)法看到的數據和事實(shí)。每周三我都要對該電子商務(wù)網(wǎng)站進(jìn)行周日志的分析，以便來(lái)統計上一周的優(yōu)化效果，在本周進(jìn)行對網(wǎng)站日志進(jìn)行分析查看時(shí)，我發(fā)現了幾個(gè)不屬于認識中的“蜘蛛IP”。

　　濟南網(wǎng)站優(yōu)化http://m.hnjiuyao.com/認為：百度蜘蛛一般來(lái)自于202.181.108.* 和123.125.71.* 這兩個(gè)IP段(這兩個(gè)IP段的百度蜘蛛沒(méi)有所謂高權重和降權之分)。顯然這三個(gè)IP在“常識”中，不屬于百度蜘蛛所屬的IP段。為了確保不誤殺百度蜘蛛，筆者用nslookup ip命令反解了此IP。這個(gè)時(shí)候，基本已經(jīng)可以確定該IP不屬于百度蜘蛛的IP段，是一個(gè)“假蜘蛛”，我們需要屏蔽該IP釋放那些被占用的帶寬。

二、誤會(huì )“假蜘蛛”

　　就在要對以上提到的三個(gè)IP進(jìn)行屏蔽的時(shí)候，筆者突然想到，這個(gè)電商網(wǎng)站在上周通知我他們要使用安全寶服務(wù)，需要將DNS解析到安全寶的服務(wù)器上，而安全寶則會(huì )根據用戶(hù)的訪(fǎng)問(wèn)情況，選擇距離近期的一個(gè)節點(diǎn)進(jìn)行CDN加速。

　　在我之前的例行SEO檢查中，發(fā)現網(wǎng)站IP被解析到了陜西的一個(gè)IP上，而這個(gè)網(wǎng)站IP和這次我從網(wǎng)站日志中發(fā)現的三個(gè)“假蜘蛛”IP屬于同一IP段。為了驗證這個(gè)推測，我又重新仔細查看了網(wǎng)站日志，發(fā)現谷歌蜘蛛和搜狗蜘蛛也來(lái)自于之前三個(gè)IP(之前對網(wǎng)站日志進(jìn)行了拆分，只查看百度的情況，因為網(wǎng)站是針對百度做SEO的)。

　　這下子總算清楚了，這些所屬I(mǎi)P的蜘蛛不是假蜘蛛，而是貨真價(jià)實(shí)的百度蜘蛛、谷歌蜘蛛和其他搜索引擎的蜘蛛。只不過(guò)因為他們通過(guò)了一次CDN節點(diǎn)，所以造成了他們的來(lái)源IP是一致的。

三、虛擬主機如何產(chǎn)生“假蜘蛛”

　　由此濟南網(wǎng)站優(yōu)化突然想到，之前在閱讀相關(guān)文章的時(shí)候，經(jīng)常會(huì )看到有站長(cháng)抱怨發(fā)現假蜘蛛，來(lái)自XX機房(就那么一兩家機房)。這是一件很奇怪的事情，莫非采集工具和假蜘蛛都產(chǎn)自這個(gè)機房?事實(shí)自然不是那樣的，而是：

　　很大一部分發(fā)現假蜘蛛的站長(cháng)，所使用的是某主機供應商提供的集群主機，或類(lèi)似性質(zhì)的虛擬主機集群性質(zhì)的虛擬主機，同CDN的道理是相同的，即將客戶(hù)的空間和站點(diǎn)資料同步到同一個(gè)群組的所有服務(wù)器上蜘蛛的來(lái)源不同，一些是直接訪(fǎng)問(wèn)站點(diǎn)的，另一些是通過(guò)一些外鏈訪(fǎng)問(wèn)站點(diǎn)的。

    通過(guò)外鏈訪(fǎng)問(wèn)站點(diǎn)的蜘蛛，會(huì )就近通過(guò)CDN節點(diǎn)訪(fǎng)問(wèn)CDN節點(diǎn)每家公司都不一樣，但大致分為地域大區(不是省)和電信、網(wǎng)通這樣的方式劃分那些通過(guò)CDN節點(diǎn)訪(fǎng)問(wèn)網(wǎng)站的蜘蛛，來(lái)源IP自然不是從北京總部出發(fā)時(shí)的IP

　　終事情得到了很好的解決，該電商網(wǎng)站自?xún)?yōu)化以來(lái)效果一直良好，雖然采用了CDN，但事實(shí)證明CDN對搜索引擎而言沒(méi)有任何障礙，反而有利于網(wǎng)站速度和提高用戶(hù)體驗。這個(gè)SEO案例也同時(shí)告訴我們，網(wǎng)上的SEO教程是會(huì )過(guò)時(shí)的，隨著(zhù)互聯(lián)網(wǎng)的進(jìn)步，我們SEO也要學(xué)會(huì )理智的去對待一些教程和分享，要有質(zhì)疑和勇于實(shí)踐的精神，同時(shí)對互聯(lián)網(wǎng)的一些基本的技術(shù)知識要有所了解。