Linux Forum — Опять про блэклисты

Re: Опять про блэклисты

null@example.com (yars) — Thu, 19 Apr 2012 19:42:57 +0000

Cruiser78 пишет:

man sort 
man uniq

Немного опоздали, уже разобрались.

Re: Опять про блэклисты

null@example.com (Cruiser78) — Thu, 19 Apr 2012 19:35:50 +0000

yars пишет:

Но я так и не понял, как же убрать все повторяющиеся строки?

man sort
man uniq

Re: Опять про блэклисты

null@example.com (zenon) — Thu, 19 Apr 2012 19:07:48 +0000

Implement transparent HTTP proxy with block list or even simple firewall
rules are better. Protection on DNS level is very fragile and probably could
be easily circumvented if not implemented together with strict firewall
rules.

Re: Опять про блэклисты

null@example.com (zenon) — Thu, 19 Apr 2012 18:57:09 +0000

Macumazan пишет:

Статический список плёхо

Да занем как-бэ. Это надо DNS-based blacklist (DNS-BL), но там опять бабка надвое наговорила..

Re: Опять про блэклисты

null@example.com (Macumazan) — Thu, 19 Apr 2012 18:36:03 +0000

Статический список плёхо. IP могут быть динамические, с вирусными компами, c одним ip может выходить в мир пол Китая через nat.

Re: Опять про блэклисты

null@example.com (zenon) — Thu, 19 Apr 2012 17:34:40 +0000

Ну вот и ладненько:

$ grep phpmyadmin /var/log/nginx/access_log | cut -d " " -f 1 | sort -u
109.106.160.75
115.69.211.20
116.126.127.217
118.219.232.205
143.106.21.199
176.53.16.10
176.61.137.158
189.17.80.184
193.110.72.242
194.149.154.11
195.54.60.60
200.142.102.88
203.91.121.71
204.9.201.211
213.86.4.51
219.76.235.221
221.132.36.24
59.124.64.229
60.31.123.54
61.218.36.21
62.110.122.20
64.52.145.3
76.164.167.234
76.164.186.222
77.48.63.206
83.103.91.91
85.237.228.171
87.118.103.208
88.190.23.29

IP которые старались найти у меня phpmyadmin

Re: Опять про блэклисты

null@example.com (-=Serj=-) — Thu, 19 Apr 2012 17:25:09 +0000

grep _критерий_ /var/log/nginx/access_log | cut -d " " -f 1 | sort -u > blacklist

Re: Опять про блэклисты

null@example.com (zenon) — Thu, 19 Apr 2012 17:19:21 +0000

-=Serj=- пишет:

А так не лучше

sort -u можно повторно натравить на blacklist, а _файло_ тут посредник,...
ы. - лучше однострок придумай

Re: Опять про блэклисты

null@example.com (-=Serj=-) — Thu, 19 Apr 2012 17:15:26 +0000

А так не лучше

cat /var/log/nginx/access_log | grep _критерий_ >> _файло_
cut -d " " -f 1 _файло_ | sort -u > blacklist

Как мне кажется, так не будут дублироваться IP, которые уже есть в blacklist

Re: Опять про блэклисты

null@example.com (zenon) — Thu, 19 Apr 2012 15:41:18 +0000

-=Serj=- дак уже додумали

cat /var/log/nginx/access_log | grep _критерий_ > _файло_
cut -d " " -f 1 _файло_ | sort -u >> blacklist

Re: Опять про блэклисты

null@example.com (-=Serj=-) — Thu, 19 Apr 2012 15:23:06 +0000

newzenon пишет:

Таки надо думать парсер

Так что нужно ? Выдернуть IP-шники из логов ?
Я могу потренироваться на Python вечером, если не занят буду .

Re: Опять про блэклисты

null@example.com (zenon) — Thu, 19 Apr 2012 12:05:25 +0000

Еще бы критерии левых запросов .... а то только примерно как-то или вручную.

Re: Опять про блэклисты

null@example.com (zenon) — Thu, 19 Apr 2012 11:47:01 +0000

Эть:

cut -d " " -f 1 /var/log/nginx/access_log | sort -u

Re: Опять про блэклисты

null@example.com (yars) — Thu, 19 Apr 2012 11:22:23 +0000

Что я сделал - скопировал приведенные выше логи в файлы 1 и 2, прогнал их через

cut -d " " -f 1 file1.txt > file1.new 
cut -d " " -f 1 file2.txt > file2.new

И в таком виде скормил diff'у.

Re: Опять про блэклисты

null@example.com (yars) — Thu, 19 Apr 2012 11:19:59 +0000

newzenon пишет:

yars пишет:
diff. Кому потребуется, скопирут списочек себе, обработает...
Подробней, плиз, а как обработать надо тут выложить, чтобы все могли это сделать.
Блокировка, примерно так:
BLOCKDB=”/root/ip.blocked”
IPS=$(grep -Ev "^#" $BLOCKDB)
for i in $IPS
do
 iptables -I 1 PREROUTING 1 -s $i -j DROP
done

Поиск различий diff'ом:

diff -B -w --changed-group-format="%=" --line-format="%L" file1.new file2.new > result.txt

Но я так и не понял, как же убрать все повторяющиеся строки?
Убрал про ... ХВАТИТ УЖЕ