닥사랑넷 웹로그를 보고 있으면 많으 들어올게 없는데, 수상쩍은 것들이 30초마다 들어온다. 사람은 아닌듯하다. 펜텀 133에 하드 2기가 로 힘겹게 버티고 있는데, 이로써 부하를 받는다. 부하를 받을리가 없는데. -_-;; 누구 들어 올사람이 있을까 생각이 든다.
그래서 분석분석!
아침 6시 27분 ~ 12시 37분 동안 6시간 10분간 측정
| hit | 아이피들 | 어떤 놈? | |||
| 1895 | 211.39.140.93 | WISEbot/1.0 | |||
| 27 | 218.148.58.18 | ||||
| 25 | 61.41.236.244 | ||||
| 24 | 218.237.220.167 | ||||
| 19 | 211.231.83.234 | ||||
| 16 | 210.121.219.34 | ||||
| 13 | 210.104.153.66 | ||||
| 12 | 61.101.82.127 | ||||
| 12 | 211.197.176.16 | ||||
| 11 | 68.80.155.207 | ||||
| 11 | 61.254.237.87 | ||||
| 11 | 211.209.149.167 | ||||
| 11 | 211.209.148.180 | ||||
| 11 | 211.176.167.89 | ||||
| 11 | 211.176.159.196 | ||||
| 11 | 160.39.145.110 | ||||
| 10 | 61.104.168.174 | ||||
| 10 | 211.230.206.100 | ||||
| 9 | 211.34.40.130 | ||||
| 6 | 66.196.65.12 | ||||
| 5 | 211.63.150.43 | ||||
| 5 | 211.216.225.146 | ||||
| 4 | 66.196.72.69 | ||||
| 4 | 66.196.72.15 | ||||
헉 -_- 1895 번 씩이나 방문해주다니. 오~ 사람이면 얼마나 좋을까~ 그래 부하잡아먹는놈 한놈만 잡고 족치자! WISEbot (사실 많이 안오는 이서버에 부하를 주는 고마운 존재일지도 모른다. 흑흑)이다. 패킷필터(iptables)로 막을려구 했는데, 생각해보니 -_-; 커널 업할때, 메모리도 얼마안된다고 linux 커널에서 웬만한 기능 다 빼버린거 같다. -_-;; 생각해보니 linux2.4 완전커널로 돌리다 패닉이었던것 같다. 이러니깐 내가 집 컴퓨터(이것저것 잘 가리는 세진세종대왕)에다가 NetBSD사용했지..
WISEbot 로그를 기록을 보고 어떻게 막을까 생각 함
211.39.140.93 - - [19/Jan/2003:07:34:04 +0900] "GET /moin/moin.cgi/helponheadlines?action=SpellCheck HTTP/1.1" 200 5535 "-" "WISEbot/1.0 (WISEbot@koreawisenut.com; http://wisebot.koreawisenut.com)"
이런 식으로 기록을 한다. 음 브라우져 타입으로 막을수 있겟다는 생각이 든다. 어떻게 하는지는 잘 몰라서 Google로 찾아보았다. 역시 구글 -_-;; 엄청난 자료들이 나온다.
그래서 찾은게 apache에서 지원하는걸로 막기로 했다.
http://c-moon.jp/robots.shtml 봇탱이들 막기. 일본 자료라 일본 crawl(웹봇) 막는 자료가 많다. 막는건 비슷하니 머..참고!
아파치 설정 파일 http.conf 에 추가하였다. ### Block WebBot
BrowserMatch "WISEbot/1.0" byebye
추가하고
<Directory 어찌구저찌구디렉토리>
...
Deny from env=byebye
</Directory>
19/Jan/2003:13:47:08 이시간을 마지막으로 이제 들어오지 않는다. 이로써 닥사랑넷의 VIP유저(WISEbot)을 한명 잃구 말았다.
이전 로그 보니깐 WISEbot 만든 제작자의 의도인지는 모르나, 긁어간거 또 긁어가고, 30초마다 쉬지않고 GET 하는 성실함을 몇달동안 보여주었다.
구글봇은 Browser Type이 Googlebot/2.1 이다. 구글봇 막을때는 BrowserMatch 에 추가해주면 될듯하다.
잉크토미봇도 있는데 그건 막지 않구 있다. WISEbot같이 부하를 많이 주지는 않아서다. 그런데 요즘 사랑스런 구글봇은 왜 안들어 오는걸까?