2006年9月17日

搜尋引擎幾乎等於在砍站嘛

昨天有一個新的搜尋引擎 hl_ftien_spider 連到了這個 beta 中的小站,連線數是 8314,和砍站行為差不多。看了一下 Google 上的討論資訊,發覺似乎也是一個惡名昭彰(比百度好一些,它看來有去解析 robots.txt 內的資訊)的海量型網路蜘蛛,不過一天下來的連線數 8000 以上等於把所有的資料都搬回家了,這是想幹嘛?

其他:

  1. User Agent String.Com 有關於此 spider 的說明,網站中列出來的 IP ( 221.238.226.3 - 0 ) 和我捉到的 ( 60.28.249.24 ) 不一樣,要封鎖的時候要多留意。
  2. User Agent String.Com 可以查到一些奇形怪狀的網路蜘蛛說明。