無知果然是一種幸福

連續看了兩天的 Web Server Log 後，只有一種感覺：『無知果然是一種幸福』。

原來每天有一大堆的網路蜘蛛到處爬，頻率還誇張到每秒好幾次… =.=

現行阻擋清單：

1. 202.108.0.0/16 : 這是百度的 IP，百度 根本 不去讀 robots.txt 檔，所以只好全面封殺！
2. 61.135.0.0/16 : 這包含了百度及 sogou 的 IP，寧可錯殺無辜，也不能錯放一個 IP，所以...
3. 202.106.182.0/24 : 來自 larbin 的搜尋動作，雖然有參考 robots.txt ，但由連線數及捉取內容來看，明顯是砍站行為，予以禁止！另外要寫一個 Shell script 來監控這個動作！

監控中的 User-Agent：

1. 220.181.0.0/16 : 這是 sogou 的 IP，似乎會參考 robots.txt 的設定，所以暫時開放！
2. 61.62.132.193 : RssBandit，問題在於他每 10 分鐘就來捉整個 RSS List 一次...

關於 Google bot：

1. Google bot 的第一件事是讀取 /robots.txt 檔
2. Google bot 一整天下來只連線 522 次