Linux Forum — Опять про блэклисты

Re: Опять про блэклисты

2012-04-19T19:42:57Z

Cruiser78 пишет:

man sort 
man uniq

Немного опоздали, уже разобрались.

Re: Опять про блэклисты

2012-04-19T19:35:50Z

yars пишет:

Но я так и не понял, как же убрать все повторяющиеся строки?

man sort
man uniq

Re: Опять про блэклисты

2012-04-19T19:07:48Z

Implement transparent HTTP proxy with block list or even simple firewall
rules are better. Protection on DNS level is very fragile and probably could
be easily circumvented if not implemented together with strict firewall
rules.

Re: Опять про блэклисты

2012-04-19T18:57:09Z

Macumazan пишет:

Статический список плёхо

Да занем как-бэ. Это надо DNS-based blacklist (DNS-BL), но там опять бабка надвое наговорила..

Re: Опять про блэклисты

2012-04-19T18:36:03Z

Статический список плёхо. IP могут быть динамические, с вирусными компами, c одним ip может выходить в мир пол Китая через nat.

Re: Опять про блэклисты

2012-04-19T17:34:40Z

Ну вот и ладненько:

$ grep phpmyadmin /var/log/nginx/access_log | cut -d " " -f 1 | sort -u
109.106.160.75
115.69.211.20
116.126.127.217
118.219.232.205
143.106.21.199
176.53.16.10
176.61.137.158
189.17.80.184
193.110.72.242
194.149.154.11
195.54.60.60
200.142.102.88
203.91.121.71
204.9.201.211
213.86.4.51
219.76.235.221
221.132.36.24
59.124.64.229
60.31.123.54
61.218.36.21
62.110.122.20
64.52.145.3
76.164.167.234
76.164.186.222
77.48.63.206
83.103.91.91
85.237.228.171
87.118.103.208
88.190.23.29

IP которые старались найти у меня phpmyadmin

Re: Опять про блэклисты

2012-04-19T17:25:09Z

grep _критерий_ /var/log/nginx/access_log | cut -d " " -f 1 | sort -u > blacklist

Re: Опять про блэклисты

2012-04-19T17:19:21Z

-=Serj=- пишет:

А так не лучше

sort -u можно повторно натравить на blacklist, а _файло_ тут посредник,...
ы. - лучше однострок придумай

Re: Опять про блэклисты

2012-04-19T17:15:26Z

А так не лучше

cat /var/log/nginx/access_log | grep _критерий_ >> _файло_
cut -d " " -f 1 _файло_ | sort -u > blacklist

Как мне кажется, так не будут дублироваться IP, которые уже есть в blacklist

Re: Опять про блэклисты

2012-04-19T15:41:18Z

-=Serj=- дак уже додумали

cat /var/log/nginx/access_log | grep _критерий_ > _файло_
cut -d " " -f 1 _файло_ | sort -u >> blacklist

Re: Опять про блэклисты

2012-04-19T15:23:06Z

newzenon пишет:

Таки надо думать парсер

Так что нужно ? Выдернуть IP-шники из логов ?
Я могу потренироваться на Python вечером, если не занят буду .

Re: Опять про блэклисты

2012-04-19T12:05:25Z

Еще бы критерии левых запросов .... а то только примерно как-то или вручную.

Re: Опять про блэклисты

2012-04-19T11:47:01Z

Эть:

cut -d " " -f 1 /var/log/nginx/access_log | sort -u

Re: Опять про блэклисты

2012-04-19T11:22:23Z

Что я сделал - скопировал приведенные выше логи в файлы 1 и 2, прогнал их через

cut -d " " -f 1 file1.txt > file1.new 
cut -d " " -f 1 file2.txt > file2.new

И в таком виде скормил diff'у.

Re: Опять про блэклисты

2012-04-19T11:19:59Z

newzenon пишет:

yars пишет:
diff. Кому потребуется, скопирут списочек себе, обработает...
Подробней, плиз, а как обработать надо тут выложить, чтобы все могли это сделать.
Блокировка, примерно так:
BLOCKDB=”/root/ip.blocked”
IPS=$(grep -Ev "^#" $BLOCKDB)
for i in $IPS
do
 iptables -I 1 PREROUTING 1 -s $i -j DROP
done

Поиск различий diff'ом:

diff -B -w --changed-group-format="%=" --line-format="%L" file1.new file2.new > result.txt

Но я так и не понял, как же убрать все повторяющиеся строки?
Убрал про ... ХВАТИТ УЖЕ