Всему свое время. Пока что я осваиваю это. Причем дается довольно сложно. Тупой я короче

мне это тоже непросто даётся на самом деле...

Кстати, сам лог можно сохранять не только в текстовом файле, а отправлять напрямую в СУБД, это получается намного быстрее, если нужны такие сложные действия.

Всему свое время. Пока что я осваиваю это. Причем дается довольно сложно. Тупой я короче

Ну 15 самых активных не подойдет.

вот проблема-то!

while read COUT STRING; do
    if (( COUNT < 1000 )); then
        break
    fi
done

этот цикл напечатает все строчки в порядке убывания до 1000 повторов включительно.

это тоже можно реализовать, хотя и сложнее. Для этого уже есть смысл подключить СУБД, ибо это уже достаточно сложная, и ресурсоёмкая операция. Кстати, сам лог можно сохранять не только в текстовом файле, а отправлять напрямую в СУБД, это получается намного быстрее, если нужны такие сложные действия.

Ну 15 самых активных не подойдет. К примеру если сыпется дос с 100 ипов и дамп за 10сек составляет 300000 строк. То я не получу большого ефекта если начну отсекать 15 ип всего.
Ведь нужно найти тех кто умудрился за 10 сикунд прислать около 1000 или 2000 тысяч запросов.

«Не верю!»

а зря, ибо действительно не распарсил. Лениво просто. Лично я ТАКОГО не пишу, ибо потом сам замучаюсь разбираться...

ORLY?

http://www.python.org/download/
в гробу я видел ЯП, у которых ДВЕ текущие несовместимые версии...

Так, вроде, нужно все, которые повторяются более 1000 раз. А твой, как я понял, выдаст 15 самых повторяющихся...

а ТС сам не знает, чего ему надо

Согласитесь, что 1К тут взято чисто от балды.
В предъявленном тестовом файле очевидно таких записей нет, потому тестирование возможно только у ТСа, и ни у кого другого...

1. Я сомневаюсь, что ТС знает пайтон, и что ему это нужно сейчас.

Не, ну на чём умею, на том и нацарапал

Пока-что вторая версия у всех по-умолчанию... Вроде...

если честно, не распарсил.

«Не верю!» ©Станиславский

#!/bin/bash LIST_IP="${1}" NUM=100 for i in $(sort -u "${LIST_IP}"); do [[ $(grep -c "${i}" "${LIST_IP}") > ${NUM} ]] && echo "${i}" done

если честно, не распарсил. Лихо закручено...

выводятся первые 15 строчек.

Так, вроде, нужно все, которые повторяются более 1000 раз. А твой, как я понял, выдаст 15 самых повторяющихся...

#!/usr/bin/env python

есть 2 недостатка у этого скрипта:
1. Я сомневаюсь, что ТС знает пайтон, и что ему это нужно сейчас. Очевидно он просил решение на bash, ибо непонятно, есть-ли у него вообще пайтон, и если есть, то какой версии?
2. Заранее сложно узнать, сколько в файле повторяющихся строк. Не проще-ли вывести самые частые?

Интересует вопрос какая утилита может вывести строки которые повторяются в файле более 1000 раз

я не знаю. Могу скрипт набросать:

#!/bin/bash


declare -A dic
declare -a strs
WORD_COUNT=0

while read s; do
    COUNT=${dic["$s"]}
    (( COUNT++ ))
    #echo $s $COUNT
    dic["$s"]=$COUNT
    if [ $COUNT == 1 ]; then
         # первое вхождение
         strs[$WORD_COUNT]=$s
         (( WORD_COUNT++ ))
     fi
done < ~/tmp/test.txt

echo "-----"

TMP1=`mktemp`

for (( i = 0; i < $WORD_COUNT; i++ )); do
    s=${strs[$i]}
    echo ${dic["$s"]} "'$s'" >> $TMP1
done

sort -rn $TMP1 | head -n15

rm --force $TMP1

Идея в том, что используются ассоциативный массив bash'а, в котором сохраняется число повторений. Далее этот массив сортируется, и выводятся первые 15 строчек.
Вот так:

$ ./uniq1000.bash 
-----
3 '207.10.162.52.3992'
3 '207.10.162.52.3991'
3 '207.10.162.52.3989'
3 '207.10.162.52.3988'
3 '207.10.162.52.3965'
3 '207.10.162.52.3961'
2 '207.10.162.52.3995'
2 '207.10.162.52.3962'
1 'bementil-90.illinois.sparkplugbb.net.4747'
1 'bementil-90.illinois.sparkplugbb.net.4740'
1 'adsl-99-136-111-230.dsl.lsan03.sbcglobal.net.49845'
1 'adsl-99-136-111-230.dsl.lsan03.sbcglobal.net.49844'
1 '207.10.162.52.4021'
1 '207.10.162.52.4020'
1 '207.10.162.52.3793'

print "%s --- %d" % (key.strip(), dictionary[key])

так будет выводиться количество повторений. Уменьшите кол-во искомых повторений, например до 3х и подсуньте ему небольшой файл, где вы сможете проверить кол-во совпадений...
Ну и для более точного сравнения скриптов, измените в

if dictionary[key] >= 1000:

>= на >.

Протестил ваши скрипты на логе с 150000 строками.
Результат конечно разный а вот кому верить )

Попробуйте сначала

sort -u list.txt | wc -l

чтобы получить количество уникальных адресов и соотнести его с результатами работы скриптов.

Это только пример.
Если не сложно, дайте полный файл с адресами, ну или хотя бы кусок по-больше, в пару тысяч строк.