疑似搜尋引擎蜘蛛的IP

黑席絲卡隆 · 發表於 2011-4-26 18:16:06

請問一下喔...
我的大頭像一直沒有改是因為這個的問題嗎?
還是我的電腦真的怪怪的

利紫貓 · 發表於 2011-4-26 18:24:35

藏大辛苦了....居然還有盯IP........

不過為什麼會24H駐留呢...

憨喵 · 發表於 2011-4-27 17:30:19

辛苦藏了

判判的主意不錯喲~

判判 · 發表於 2011-4-27 17:48:37

我還有一個想法是
看看巴哈怎麼做

未登入不能觀賞貼圖、影片

這樣也可以減少這些IP區段吃掉的資源

Mr.茶 · 發表於 2011-4-29 15:03:23

藏~我記得後台可以阻止蜘蛛對網站進行搜尋說
要不要檢查看看

gands · 發表於 2011-4-30 13:22:23

124.115.0.0 / 255.255.240.0 < 很惡劣的網路爬蟲連搜尋引擎都不是

66.249.0.0 //google
74.6.0.0 72.30.0.0 67.195.0.0 // yahoo
65.55.0.0 207.46.0.0 //M$
220.181.0.0 123.125.0.0 //百度
這些都是v3時代開始已知的網路搜尋引擎根據歷史紀錄系統50%的流量是由這些bot消耗的
這些搜尋引擎對於網站曝光率有相當重要的影響
當然也是可以驅逐的下幾條簡單的指令就好他就不會再來
不過使用驅逐命令的話 bot會自動將網站內容設為搜尋排除名單

根據以往的經驗v3每天需求約3GB流量(我已經有刻意壓縮過網頁流量）一個月大約就是100G(至少) 以前v3基本上是不限制流量就是所以這種問題我都是私下處理掉
而v4如果使用套裝程式碼流量可以預期只會更大不會減少

紫寂 · 發表於 2011-5-2 21:52:35

舉雙手贊成~~~呆呆抖建議~

		自動登錄	找回密碼
密碼			成為喵居民

[公告] 疑似搜尋引擎蜘蛛的IP