==== 문제 ====
닥사랑넷 웹로그를 보고 있으면 많으 들어올게 없는데, 수상쩍은 것들이 30초마다 들어온다. 사람은 아닌듯하다. 펜텀 133에 하드 2기가 로 힘겹게 버티고 있는데, 이로써 부하를 받는다. 부하를 받을리가 없는데. -_-;; 누구 들어 올사람이 있을까 생각이 든다.
==== 분석 & 처리 ====
그래서 분석분석!
아침 6시 27분 ~ 12시 37분 동안 6시간 10분간 측정
||hit || 아이피들 || 어떤 놈? ||
|| 1895 ||211.39.140.93 || WISEbot/1.0||
|| 27|| 218.148.58.18 ||
|| 25|| 61.41.236.244 ||
|| 24 ||218.237.220.167 ||
|| 19|| 211.231.83.234 ||
|| 16 ||210.121.219.34 ||
|| 13 ||210.104.153.66 ||
|| 12|| 61.101.82.127 ||
|| 12 ||211.197.176.16 ||
||11 ||68.80.155.207 ||
|| 11 ||61.254.237.87 ||
|| 11 ||211.209.149.167 ||
|| 11 ||211.209.148.180 ||
|| 11|| 211.176.167.89 ||
|| 11 ||211.176.159.196 ||
|| 11|| 160.39.145.110 ||
|| 10 ||61.104.168.174 ||
|| 10 ||211.230.206.100 ||
|| 9 ||211.34.40.130 ||
|| 6 ||66.196.65.12 ||
|| 5|| 211.63.150.43 ||
|| 5|| 211.216.225.146 ||
|| 4 ||66.196.72.69 ||
|| 4 ||66.196.72.15 ||
헉 -_- 1895 번 씩이나 방문해주다니. 오~ 사람이면 얼마나 좋을까~
그래 부하잡아먹는놈 한놈만 잡고 족치자! WISEbot (사실 많이 안오는 이서버에 부하를 주는 고마운 존재일지도 모른다. 흑흑)이다. 패킷필터(iptables)로 막을려구 했는데, 생각해보니 -_-; 커널 업할때, 메모리도 얼마안된다고 linux 커널에서 웬만한 기능 다 빼버린거 같다. -_-;; 생각해보니 linux2.4 완전커널로 돌리다 패닉이었던것 같다. 이러니깐 내가 집 컴퓨터(이것저것 잘 가리는 세진세종대왕)에다가 NetBSD사용했지..
WISEbot 로그를 기록을 보고 어떻게 막을까 생각 함
211.39.140.93 - - [19/Jan/2003:07:34:04 +0900] "GET /moin/moin.cgi/helponheadlines?action=SpellCheck HTTP/1.1" 200 5535 "-" "WISEbot/1.0 (WISEbot@koreawisenut.com; http://wisebot.koreawisenut.com)"
이런 식으로 기록을 한다. 음 브라우져 타입으로 막을수 있겟다는 생각이 든다. 어떻게 하는지는 잘 몰라서 Google로 찾아보았다. 역시 구글 -_-;; 엄청난 자료들이 나온다.
그래서 찾은게 apache에서 지원하는걸로 막기로 했다.
http://c-moon.jp/robots.shtml 봇탱이들 막기. 일본 자료라 일본 crawl(웹봇) 막는 자료가 많다. 막는건 비슷하니 머..참고!
아파치 설정 파일 http.conf 에 추가하였다.
### Block WebBot
BrowserMatch "WISEbot/1.0" byebye
추가하고
...
Deny from env=byebye
==== 결과 ====
19/Jan/2003:13:47:08 이시간을 마지막으로 이제 들어오지 않는다. 이로써 닥사랑넷의 VIP유저(WISEbot)을 한명 잃구 말았다.
이전 로그 보니깐 WISEbot 만든 제작자의 의도인지는 모르나, 긁어간거 또 긁어가고, 30초마다 쉬지않고 GET 하는 성실함을 몇달동안 보여주었다.
구글봇은 Browser Type이 ''Googlebot/2.1'' 이다. 구글봇 막을때는 BrowserMatch 에 추가해주면 될듯하다.
잉크토미봇도 있는데 그건 막지 않구 있다. WISEbot같이 부하를 많이 주지는 않아서다. 그런데 요즘 사랑스런 구글봇은 왜 안들어 오는걸까?