Щас на 14,48
count
147725
du -h /var/lib/mysql/trafstat
23Mb
Настоятельно просим вас при общении соблюдать Правила форума и законы РФ. Наша тематика вне политики, поэтому воздержитесь от обсуждения ситуации на Украине и связанных с ней событий, независимо от того, какую сторону вы поддерживаете.
Также напоминаем, что наш форум находится в доменной зоне .ru, физически расположен на российских серверах и мы соблюдаем действующее законодательство России. Любые сообщения о политике будут удаляться.
Linux Forum → Проекты пользователей LinuxForum → Система учета интернет-трафика
Щас на 14,48
count
147725
du -h /var/lib/mysql/trafstat
23Mb
serg79
8,43 утра
база весит 48М
Число строк в таблице трафик = 304448
Вчера на проксе было за день 60 юзеров, ну и плюс целюю ночь раздавались торенты.
как помог мой эксперимент?
Спасибо тебе kisil большое, это ценные статистические данные.
Вот если бы ты еще дал выгрузку базы (таблица traffic) для того, что бы с ней можно было поиграться в плане сжатия данных. Было бы вообще здорово.)))
Сделать дамп. Щас выложу.
На 10 часов
Записей 370635
Размер базы 58М
kisil, вот ты посмотрел как выводиться статистика по пользователям. Скажи, нужно ли хранить инфу о запрашиваемых портах на сервере в старых данных (ну там 3-х месячной давности)? Или достаточно будет хранить статистику по пользователю с разрешением за сутки со списком серверов которые он запрашивал и количество байт полученных и отправленных к данному серверу?
нет мне кажется достаточно только статистики что запрашивал юзер за день. Так правильнее. Куда залить файл, простой sql файл весит 22 метра а сжатый gzip"оп 3 метра.
Так залил дамп таблицы traffic на рапиду вот ссылка
http://rapidshare.com/files/402568990/t … ql.gz.html
Это сжатый файл, если есть проблемы с ним скажи залью не сжатый.
Спасибо kisil, дамп таблицы traffic получил, загрузился дамп в базу без проблем.
Я вот что подумал kisil, а информация о запрашиваемых портах сервера актуальна? Нужна ли она вообще?
Все виключаю сбор инфи.
Результати:
на 14,00 имеем
количество строк в базе = 517817
размер бази 81М
Я вот что подумал kisil, а информация о запрашиваемых портах сервера актуальна? Нужна ли она вообще?А вот етого не понял. Как по портам? обясни?
а информация о запрашиваемых портах сервера актуальна?
если сертифицировать и позиционировать ваше творение как биллинг - то актуальна, т.к. иногда придётся отдавать эту инфу МВД.
если вы позиционируете этот продукт как просто "учет трафика в организации" и как говорится "не несёте ответственность за приченённый ущерб и всё на свой страх и риск" то сами подумайте какая информация нужна системному администратору?
ip откуда -> ip куда -> сколько в общем скачано и сколько передано между этими ip за день.
udp и tcp трафик конечно важно, но а если весь IT отдел нароет ICMP туннель? он отобразиться?
По портам это когда показывается какие порты запрашивались на удаленном сервере:
На счет того что для билинга это актуально я не согласен, они учитывают только суммарный трафик клиента. А для МВД предоставляется точка съема через которую бежит весь трафик провайдера.
ICMP учитывается в "суммарном трафике".
а на сколько уменьшиться база если убрать инфо о портах? в % "на глаз"?
Я щас понял про что ти говорил. Даже не знаю, как на меня то актуальна, но если би ее держать гдето в другой таблице, или как?Не знаю. smile
да сделайте чекбокс,и в опциях ставишь отображать запись или нет, и соответственно будет ли она записываться в базу или нет, от сюда и размер базы будет больше или меньше :-)
чекбокс - подразумевает, что "демон" будет проверять БД на предмет настроек и в зависимости от них дампить инфо в БД.
а это уже
1) интерактив
2) переписывать "демон"
3) переписывать "клиент"
4) вообще новый уровень =)
Да тут проблема не в том что инфа о портах занимает много места, она много места не занимает (тип int). Вопрос в том, что следует хранить информацию о портах в уплотненных данных, т.е. нужна ли будет человеку (админу) инфа о портах если он будет просматривать статистику 3-х летней давности?
упростим задачу, во время установки сделать запрос хотите ли вы использовать детальную статистику, если "да", то включаем все возможные параметры со всеми вытекающими, иначе получите простой вид :-)
чекбокс - подразумевает, что "демон" будет проверять БД на предмет настроек и в зависимости от них дампить инфо в БД.
"Демон" сам не выгружает инфу о трафике в базу. Он выгружает данные в бинарный дамп на диске, есть тулзовина которая представляет данный дамп в удобочитаемый вид. А выгрузкой данных в базу занимается perl-ий скрипт.
Коллектор трафика (демон) и веб-интерфейс полностью независимы друг от друга.
т.е. нужна ли будет человеку (админу) инфа о портах если он будет просматривать статистику 3-х летней давности?
однозначно нет =) с другой стороны, можно нарисовать диаграмму процентного соотношения трафика за все эти 3 года. т.е. udp = столько то, 53й порт = столько то. чтоб планировать или хотя бы иметь представление о потребностях в определённых ресурсах.
упростим задачу
можно скажу скромное мнение? упрощать не нужно. или делать или нет. а упрощение.. тогда где потом искать kill фитчи?
Хотя наверно данная инфа (порты) важна, она позволяет определить тип сервиса который запрашивался у удаленного сервера, будь то WWW, FTP или что то еще.
Да system-root, в этом плане ты прав. Функционал будет развиваться и потенциал построения разных отчетов очень большой, а для этого нужно хранить как можно больше информации о соединении.
Да system-root, в этом плане ты прав. Функционал будет развиваться и потенциал построения разных отчетов очень большой, а для этого нужно хранить как можно больше информации о соединении.
ну вот я написал в #48
можно скажу скромное мнение? упрощать не нужно. или делать или нет. а упрощение.. тогда где потом искать kill фитчи?
это не правильно, необходимо заложить уже изначально ту или иную функцию, а выводить ее или нет, это уже совсем другая фича.
необходимо заложить уже изначально
чтоб заложить всё изначально, нужно собраться, провести мозговой штурм, сделать исследования на предмет нужных разным организациям фитч, итд итд.
это же только серьёзная компания со штатом программистов может себе позволить, разве не?
system-root, необходимо для себя уяснить, а что мы хотим в итоге получить то?
Функционал будет развиваться
что и следовало доказать.
serg79 как на меня инфа про порти нужна. Но что я хочу сказать. Может луче будет складать в базу инфу только про компи локальной сети. ну например по ip 192.168.0.1-192.168.0.254 и все. И чтобі сохраналлась инфа про ети адреса куда и скока они ходили.
вот например:
В прикрепленом файле есть инфа по айпишниках моей сети куда и сколько они стянули но тут и естя инфа про сервер с адресом 95.25.53.171. Зачем нужна сберегать инфу про етот сервер.
kisil, у тебя кстати IP-адреса не разрезолвиваются. У тебя DNS сервера в системе прописаны?
Зачем нужна сберегать инфу про етот сервер.
чтоб знать куда ходили твои пользователи, чтоб если что, закрыть этот адрес.
да. инет поднимаетса через pppoe и ДНС всегда прописани в /etc/resolv.conf. или еще нуна их прописать в hosts.
да. инет поднимаетса через pppoe и ДНС всегда прописани в /etc/resolv.conf. или еще нуна их прописать в hosts.
Да нет, если у тебя работает 'ping mail.ru' значит все нормально. Дело в том, что веб-интерфейс когда список запращиваемых серверов показывает, он их DNS имена разрезолвивает.
Linux Forum → Проекты пользователей LinuxForum → Система учета интернет-трафика
Форум работает на PunBB, при поддержке Informer Technologies, Inc