Donghee

This is an old revision of the document!

문제

닥사랑넷 웹로그를 보고 있으면 많으 들어올게 없는데, 수상쩍은 것들이 30초마다 들어온다. 사람은 아닌듯하다. 펜텀 133에 하드 2기가 로 힘겹게 버티고 있는데, 이로써 부하를 받는다. 부하를 받을리가 없는데. -_-;; 누구 들어 올사람이 있을까 생각이 든다.

분석 & 처리

그래서 분석분석!

아침 6시 27분 ~ 12시 37분 동안 6시간 10분간 측정

hit	아이피들	어떤 놈?
1895	211.39.140.93	WISEbot/1.0
27	218.148.58.18
25	61.41.236.244
24	218.237.220.167
19	211.231.83.234
16	210.121.219.34
13	210.104.153.66
12	61.101.82.127
12	211.197.176.16
11	68.80.155.207
11	61.254.237.87
11	211.209.149.167
11	211.209.148.180
11	211.176.167.89
11	211.176.159.196
11	160.39.145.110
10	61.104.168.174
10	211.230.206.100
9	211.34.40.130
6	66.196.65.12
5	211.63.150.43
5	211.216.225.146
4	66.196.72.69
4	66.196.72.15

헉 -_- 1895 번 씩이나 방문해주다니. 오~ 사람이면 얼마나 좋을까~ 그래 부하잡아먹는놈 한놈만 잡고 족치자! WISEbot (사실 많이 안오는 이서버에 부하를 주는 고마운 존재일지도 모른다. 흑흑)이다. 패킷필터(iptables)로 막을려구 했는데, 생각해보니 -_-; 커널 업할때, 메모리도 얼마안된다고 linux 커널에서 웬만한 기능 다 빼버린거 같다. -_-;; 생각해보니 linux2.4 완전커널로 돌리다 패닉이었던것 같다. 이러니깐 내가 집 컴퓨터(이것저것 잘 가리는 세진세종대왕)에다가 NetBSD사용했지..

WISEbot 로그를 기록을 보고 어떻게 막을까 생각 함

211.39.140.93 - - [19/Jan/2003:07:34:04 +0900] "GET /moin/moin.cgi/helponheadlines?action=SpellCheck HTTP/1.1" 200 5535 "-" "WISEbot/1.0 (WISEbot@koreawisenut.com; http://wisebot.koreawisenut.com)"

이런 식으로 기록을 한다. 음 브라우져 타입으로 막을수 있겟다는 생각이 든다. 어떻게 하는지는 잘 몰라서 Google로 찾아보았다. 역시 구글 -_-;; 엄청난 자료들이 나온다.

그래서 찾은게 apache에서 지원하는걸로 막기로 했다.

http://c-moon.jp/robots.shtml 봇탱이들 막기. 일본 자료라 일본 crawl(웹봇) 막는 자료가 많다. 막는건 비슷하니 머..참고!

아파치 설정 파일 http.conf 에 추가하였다. ### Block WebBot

BrowserMatch "WISEbot/1.0" byebye
추가하고
<Directory 어찌구저찌구디렉토리>
...
        Deny from env=byebye
</Directory>

결과

19/Jan/2003:13:47:08 이시간을 마지막으로 이제 들어오지 않는다. 이로써 닥사랑넷의 VIP유저(WISEbot)을 한명 잃구 말았다.

이전 로그 보니깐 WISEbot 만든 제작자의 의도인지는 모르나, 긁어간거 또 긁어가고, 30초마다 쉬지않고 GET 하는 성실함을 몇달동안 보여주었다.

구글봇은 Browser Type이 Googlebot/2.1 이다. 구글봇 막을때는 BrowserMatch 에 추가해주면 될듯하다.

잉크토미봇도 있는데 그건 막지 않구 있다. WISEbot같이 부하를 많이 주지는 않아서다. 그런데 요즘 사랑스런 구글봇은 왜 안들어 오는걸까?

Table of Contents

문제

분석 & 처리

결과