- 在 User Agent String.Com 有關於此 spider 的說明,網站中列出來的 IP ( 221.238.226.3 - 0 ) 和我捉到的 ( 60.28.249.24 ) 不一樣,要封鎖的時候要多留意。
- User Agent String.Com 可以查到一些奇形怪狀的網路蜘蛛說明。
2006年9月17日
搜尋引擎幾乎等於在砍站嘛
昨天有一個新的搜尋引擎 hl_ftien_spider 連到了這個 beta 中的小站,連線數是 8314,和砍站行為差不多。看了一下 Google 上的討論資訊,發覺似乎也是一個惡名昭彰(比百度好一些,它看來有去解析 robots.txt 內的資訊)的海量型網路蜘蛛,不過一天下來的連線數 8000 以上等於把所有的資料都搬回家了,這是想幹嘛?
其他:
標籤:
Blog
訂閱:
張貼留言 (Atom)
沒有留言:
張貼留言