31

Щас на 14,48

count
147725

du -h /var/lib/mysql/trafstat
23Mb

Trouble  in WINDOWS reboot, trouble in UNIX be root.

32

serg79
8,43 утра
база весит 48М
Число строк в таблице трафик = 304448
Вчера на проксе было за день 60 юзеров, ну и плюс целюю ночь раздавались торенты.
как помог мой эксперимент?

Trouble  in WINDOWS reboot, trouble in UNIX be root.

33

Спасибо тебе kisil большое, это ценные статистические данные.
Вот если бы ты еще дал выгрузку базы (таблица traffic) для того, что бы с ней можно было поиграться в плане сжатия данных. Было бы вообще здорово.)))

34

Сделать дамп. Щас выложу.

Trouble  in WINDOWS reboot, trouble in UNIX be root.

35

На 10 часов
Записей 370635
Размер базы 58М

Trouble  in WINDOWS reboot, trouble in UNIX be root.

36

kisil, вот ты посмотрел как выводиться статистика по пользователям. Скажи, нужно ли хранить инфу о запрашиваемых портах на сервере в старых данных (ну там 3-х месячной давности)? Или достаточно будет хранить статистику по пользователю с разрешением за сутки со списком серверов которые он запрашивал и количество байт полученных и отправленных к данному серверу?

37 (25.06.2010 11:22:52 отредактировано kisil)

нет мне кажется достаточно только статистики что запрашивал юзер за день. Так правильнее. Куда залить файл, простой sql файл весит 22 метра а сжатый gzip"оп 3 метра.

Trouble  in WINDOWS reboot, trouble in UNIX be root.

38

Так залил дамп таблицы traffic на рапиду вот ссылка
http://rapidshare.com/files/402568990/t … ql.gz.html
Это сжатый файл, если есть проблемы с ним скажи залью не сжатый.

Trouble  in WINDOWS reboot, trouble in UNIX be root.

39

Спасибо kisil, дамп таблицы traffic получил, загрузился дамп в базу без проблем.

Я вот что подумал kisil, а информация о запрашиваемых портах сервера актуальна? Нужна ли она вообще?

40

Все виключаю сбор инфи.
Результати:
на 14,00 имеем
количество строк в базе = 517817
размер бази 81М

Я вот что подумал kisil, а информация о запрашиваемых портах сервера актуальна? Нужна ли она вообще?

А вот етого не понял. Как по портам? обясни?

Trouble  in WINDOWS reboot, trouble in UNIX be root.

41

Serg79 пишет:

а информация о запрашиваемых портах сервера актуальна?

если сертифицировать и позиционировать ваше творение как биллинг - то актуальна, т.к. иногда придётся отдавать эту инфу МВД.
если вы позиционируете этот продукт как просто "учет трафика в организации" и как говорится  "не несёте ответственность за приченённый ущерб и всё на свой страх и риск" то сами подумайте какая информация нужна системному администратору?

ip откуда -> ip куда -> сколько в общем скачано и сколько передано между этими ip за день.

udp и tcp трафик конечно важно, но а если весь IT отдел нароет ICMP туннель? он отобразиться?

42 (25.06.2010 15:23:46 отредактировано Serg79)

По портам это когда показывается какие порты запрашивались на удаленном сервере:
http://linuxforum.ru/misc.php?item=458

На счет того что для билинга это актуально я не согласен, они учитывают только суммарный трафик клиента. А для МВД предоставляется точка съема через которую бежит весь трафик провайдера.

ICMP учитывается в "суммарном трафике".

43

а на сколько уменьшиться база если убрать инфо о портах? в % "на глаз"?

44

Я щас понял про что ти говорил. Даже не знаю, как на меня то актуальна, но если би ее держать гдето в другой таблице, или как?Не знаю. smile

Trouble  in WINDOWS reboot, trouble in UNIX be root.

45 (25.06.2010 15:48:41 отредактировано i2ks)

да сделайте чекбокс,и в опциях ставишь отображать запись или нет, и соответственно будет ли она записываться в базу или нет, от сюда и размер базы будет больше или меньше :-)

It is good day to die ...
MS Windows 10
Заметки о главном...

46

чекбокс - подразумевает, что "демон" будет проверять БД на предмет настроек и в зависимости от них дампить инфо в БД.
а это уже
1) интерактив
2) переписывать "демон"
3) переписывать "клиент"
4) вообще новый уровень =)

47

Да тут проблема не в том что инфа о портах занимает много места, она много места не занимает (тип int). Вопрос в том, что следует хранить информацию о портах в уплотненных данных, т.е. нужна ли будет человеку (админу) инфа о портах если он будет просматривать статистику 3-х летней давности?

48

упростим задачу,  во время установки сделать запрос хотите ли вы использовать детальную статистику, если "да", то включаем все возможные параметры со всеми вытекающими, иначе получите простой вид :-)

It is good day to die ...
MS Windows 10
Заметки о главном...

49

system-root пишет:

чекбокс - подразумевает, что "демон" будет проверять БД на предмет настроек и в зависимости от них дампить инфо в БД.

"Демон" сам не выгружает инфу о трафике в базу. Он выгружает данные в бинарный дамп на диске, есть тулзовина которая представляет данный дамп в удобочитаемый вид. А выгрузкой данных в базу занимается perl-ий скрипт.

Коллектор трафика (демон) и веб-интерфейс полностью независимы друг от друга.

50

Serg79 пишет:

т.е. нужна ли будет человеку (админу) инфа о портах если он будет просматривать статистику 3-х летней давности?

однозначно нет =) с другой стороны, можно нарисовать диаграмму процентного соотношения трафика за все эти 3 года. т.е. udp = столько то, 53й порт = столько то. чтоб планировать или хотя бы иметь представление о потребностях в определённых ресурсах.

i2ks пишет:

упростим задачу

можно скажу скромное мнение? упрощать не нужно. или делать или нет. а упрощение.. тогда где потом искать kill фитчи?

51

Хотя наверно данная инфа (порты) важна, она позволяет определить тип сервиса который запрашивался у удаленного сервера, будь то WWW, FTP или что то еще.

52 (25.06.2010 16:07:38 отредактировано Serg79)

Да system-root, в этом плане ты прав. Функционал будет развиваться и потенциал построения разных отчетов очень большой, а для этого нужно хранить как можно больше информации о соединении.

53

Serg79 пишет:

Да system-root, в этом плане ты прав. Функционал будет развиваться и потенциал построения разных отчетов очень большой, а для этого нужно хранить как можно больше информации о соединении.

ну вот я написал в #48

system-root пишет:

можно скажу скромное мнение? упрощать не нужно. или делать или нет. а упрощение.. тогда где потом искать kill фитчи?

это не правильно, необходимо заложить уже изначально ту или иную функцию, а выводить ее или нет, это уже совсем другая фича.

It is good day to die ...
MS Windows 10
Заметки о главном...

54

i2ks пишет:

необходимо заложить уже изначально

чтоб заложить всё изначально, нужно собраться, провести мозговой штурм, сделать исследования на предмет нужных разным организациям фитч, итд итд.
это же только серьёзная компания со штатом программистов может себе позволить, разве не?

55

system-root, необходимо для себя уяснить, а что мы хотим в итоге получить то?

Serg79 пишет:

Функционал будет развиваться

что и следовало доказать.

It is good day to die ...
MS Windows 10
Заметки о главном...

56 (25.06.2010 17:21:02 отредактировано kisil)

serg79 как на меня инфа про порти нужна. Но что я хочу сказать. Может луче будет складать в базу инфу только про компи локальной сети. ну например по ip 192.168.0.1-192.168.0.254 и все. И чтобі сохраналлась инфа про ети адреса куда и скока они ходили.
вот например:
В прикрепленом файле есть инфа по айпишниках моей сети куда и сколько они стянули но тут и естя инфа про сервер с адресом 95.25.53.171. Зачем нужна сберегать инфу про етот сервер.

Trouble  in WINDOWS reboot, trouble in UNIX be root.

57

kisil, у тебя кстати IP-адреса не разрезолвиваются. У тебя DNS сервера в системе прописаны?

58

kisil пишет:

Зачем нужна сберегать инфу про етот сервер.

чтоб знать куда ходили твои пользователи, чтоб если что, закрыть этот адрес.

59

да. инет поднимаетса через pppoe и ДНС всегда прописани в /etc/resolv.conf. или еще нуна их прописать в hosts.

Trouble  in WINDOWS reboot, trouble in UNIX be root.

60

kisil пишет:

да. инет поднимаетса через pppoe и ДНС всегда прописани в /etc/resolv.conf. или еще нуна их прописать в hosts.

Да нет, если у тебя работает 'ping mail.ru' значит все нормально. Дело в том, что веб-интерфейс когда список запращиваемых серверов показывает, он их DNS имена разрезолвивает.