61

Ну то как нащот того что я написал?

Trouble  in WINDOWS reboot, trouble in UNIX be root.

62

kisil пишет:

Ну то как нащот того что я написал?

Ну вообще то веб-интерфейс trafstat активно отправляет запросы к DNS серверу, разрезолвивает DNS-имена удаленных серверов. Если у тебя не было запросов из контролируемой под сети к внешнему миру, то DNS-имена и не будут появляться.

У тебя вообще стоит какой нибудь кеширишующий DNS-сервер на шлюзе?

63

Вот возник такой вопрос. Чисто на досуге. А какое применение автор видит своему детищу? Какой масштаб?

Просто я тоже пишу подобный проект. Но меня пугают объёмы, как оказывается, не нужной информации.

64 (25.06.2010 23:51:18 отредактировано kisil)

Serg79 пишет:
kisil пишет:

Ну то как нащот того что я написал?

Ну вообще то веб-интерфейс trafstat активно отправляет запросы к DNS серверу, разрезолвивает DNS-имена удаленных серверов. Если у тебя не было запросов из контролируемой под сети к внешнему миру, то DNS-имена и не будут появляться.

У тебя вообще стоит какой нибудь кеширишующий DNS-сервер на шлюзе?

на шлюзе поднятый кешырующий ДНС. Ты прав я заметил что он правильно разрешает имя-айпи, а айпи-имя вроде как нет. Я это заметил на днях, когда ознакомлялса с твоим проэктом, но просто щас нету времени розобратса. У меня командировки по 2 штуки на неделю. вот разберусь с нагальными проблемами тогда розберусь с обратной зоной в ДНС.
Я вообщето спрашывал не это а вот что

serg79 как на меня инфа про порти нужна. Но что я хочу сказать. Может луче будет складать в базу инфу только про компи локальной сети. ну например по ip 192.168.0.1-192.168.0.254 и все. И чтобі сохраналлась инфа про ети адреса куда и скока они ходили.
вот например:
В прикрепленом файле есть инфа по айпишниках моей сети куда и сколько они стянули но тут и естя инфа про сервер с адресом 95.25.53.171. Зачем нужна сберегать инфу про етот сервер.
Trouble  in WINDOWS reboot, trouble in UNIX be root.

65

kisil, на счет разделения хранения портов, для одних хостов хранить а для других нет, думаю не целесообразно. Это нужно будет иметь тогда две таблицы в одной будут порты в другой нет. Если хранить в одной таблице, то вводить дополнительный флаг указывающий что поле "порт" не используется. Короче как то все это криво.

Тут оптимальней принять решение: хранить или не хранить. Я решил хранить информацию о запрашиваемых портах.

66

А как нащот логирования инфы только для определёных айпишок указаных самим админом. Или это я что то загнул слишком. ac

Trouble  in WINDOWS reboot, trouble in UNIX be root.

67

zerg пишет:

Вот возник такой вопрос. Чисто на досуге. А какое применение автор видит своему детищу? Какой масштаб?

Zerg, не пойму твои вопросы. В качестве применений это в названии темы. Какой масштаб, это время покажет. Но мне еще много чего хочется добавить в систему.

Сейчас у меня на повестке одна главная задача, как можно сильней уплотнить хранимые данные. В идеале статистика за год не должна превышать 1 Гбайт для 50 контролируемых хостов. Далее хочу добавить разбиение вывода таблиц статистики на страницы (а то таблица с 1500 записями разрезолвивает DNS-имена слишком долго), но это чисто техническая задача и не требует обдумывания организации хранения данных. Вот эти основные задачи, можно сказать, подведут черту под версией 0.1.

В следующей версии планирую добавить ограничения по использованию Интернет ресурсов. То есть, добавить возможность выдавать пользователям например 50 Мбайт на неделю и если пользователь их израсходовал, закрывать ему интернет до конца недели.

Как то так zerg. Да вообще проект можно развивать и совершенствовать бесконечно. Лично я вижу большой потенциал по развитию функционала.

68

kisil пишет:

А как нащот логирования инфы только для определёных айпишок указаных самим админом. Или это я что то загнул слишком. ac

А зачем выделять отдельные IP в качестве объектов наблюдения? Для коллектора трафика все IP-одинаковы. Лучше добавить фильтр в веб-интерфейс, который позволяет просматривать инфу только по конкретному IP.

69

Serg79 пишет:
kisil пишет:

А как нащот логирования инфы только для определёных айпишок указаных самим админом. Или это я что то загнул слишком. ac

А зачем выделять отдельные IP в качестве объектов наблюдения? Для коллектора трафика все IP-одинаковы. Лучше добавить фильтр в веб-интерфейс, который позволяет просматривать инфу только по конкретному IP.

Верно. Вот что я имел ввиду но не мог высказать. oO

Trouble  in WINDOWS reboot, trouble in UNIX be root.

70

Serg79 пишет:

(а то таблица с 1500 записями разрезолвивает DNS-имена слишком долго)

разве резолв идёт в момент после дампа в БД?

71

system-root пишет:

разве резолв идёт в момент после дампа в БД?

Нет, резолв идет на странице показывающей "статистику запрашиваемых удаленных серверов", т.е. в веб-интерфейсе.

72

Система предполагает авторизацию пользователей по IP+MAC.
То есть:
ты, как администратор, вбиваешь ручками IP(mac) адрес и это пользователь может выходить в инет.
Юзеры, которые не внесены в список пользователей (их IP(mac)- адреса не занесены в базу програмулинки) НЕ имеют доступа в инет.

Пусть будет как мы хотим, ибо мы не хотим ничего плохого (с) kazantipa.net

73

Изменил структуру таблицы хранящей трафик (#45), теперь данные должны занимать процентов на 35% - 40% меньше места. Но еще предстоит решить проблему уплотнения старых данных (#44).

kisil, если есть возможность погонять новый вариант, то сделай это плиз. Брать лучше всего последнюю актуальную версию с trunk-a.

Да еще, на данный момент скрипт выгружающий трафик игнорирует все протоколы кроме TCP и UDP, в дальнейшем это планируется исправить, и по этому для коллектора лучше добавить ограничение на диапазон снимаемого трафика. У меня так он настроен:
Файл: /etc/trafd/trafctl.conf

trafd_eth0_expression="(tcp and (portrange 1-1023 and not broadcast)) or (udp and (portrange 1-1023 and not broadcast))"

74

Я попробую только не понял откуда стянуть новую версию.?
ag

Trouble  in WINDOWS reboot, trouble in UNIX be root.

75 (30.07.2010 23:58:35 отредактировано Serg79)

kisil пишет:

Я попробую только не понял откуда стянуть новую версию.?
ag

Загружай последнюю версию прям с репозитария. Загружать надо с рабочей (trunk) ветки, там всегда находится самая последняя версия.

Загрузить можно следующей командой:

svn co http://svn.shelek.su/public/trafstat/trunk/

В дальнейшем что бы обновиться до самой последней версии достаточно будет выполнить команду:

svn update

Да еще, там структура таблицы 'traffic' в базе изменилась, так что базу лучше будет пересоздать. Если необходимо переконвертировать старые данные, то есть скрипт 'convTrafTable.pl' который переносит данные из таблицы 'traffic' в старой базе, в таблицу 'traffic' новой базы.

76

Serg79 пишет:

Нет, резолв идет на странице показывающей "статистику запрашиваемых удаленных серверов", т.е. в веб-интерфейсе.

нужно сделать наоборот, т.е. дампить уже отрезолвенные имена.
почему?
1) данные уже не изменятся и не введут в заблуждение
2) не будет "узкого" места.

77

system-root, ну я так не думаю. Во первых, хранение IP-адресов в базе занимает меньше места, так как IP-адрес можно представить в виде 'uint32' и все строки в таблице фиксированного размера. Во вторых поиск по IP-адресу в базе выполняется на порядок быстрее, чем если бы поиск шел по строкам (DNS-имена). Да и коллектор трафика работает на уровне IP-адресов.
А быстродействие резолва решается поднятием на системной машине кеширующего DNS-сервера, довольно быстро большинство DNS-имен осядет в кеше и разрезолвивание будет выполнятся на порядок быстрее.

78

кеширование работает только до перезагрузки.
зачем искать по DNS-именам если можно просто совмещать [UNIQUE]IP=[UNIQUE]DNS? или это не возможно?

79

Маленькая просьба по web интерфейсу:
указать что базу создавать надо в кои8 кодировке и просьба добавить после установления связи с базой строку:

mysql_query("SET NAMES 'koi8r';");

- установка кодировки связи с базой

80

Вопрос к пользователям:
    - железо: Intel(R) Atom(TM) CPU D510 @ 1.66GHz
    - система: Ubuntu Linux 10.04
    - ядро: Linux 2.6.32-24-server on x86_64
Система стала с помощью небольшого напильника (в основном пути в скриптах). Поставил сброс статистики через 5 минут в кроне, и ночью случилась беда: видно perl скрипт не успел занести данные в базу и был вызван повторно в результате утром бред в статистике и куча запущенных процессов... ac

кто-то с таким сталкивался?

81

Нет у меня всё нормально работало, только новую версию ещё не опробовал. Завтра обязательно попробую, отпишусь

Trouble  in WINDOWS reboot, trouble in UNIX be root.

82 (17.08.2010 03:21:59 отредактировано Serg79)

kisil, ты не тяни с новой версией базы.))) Я сейчас готовлю переход на уплотнение данных (каждый год в новой таблице, а количество хранимых годов управляется через настройки), так что ты тимлидер группы тестирования.)))

Кстати kisil, для того что бы добавлять самому реквесты (request) и принимать участие в обсуждении запросов, достаточно только зарегистрироваться на Redmine TrafStat.

83

oleg_krv пишет:

Вопрос к пользователям:
Система стала с помощью небольшого напильника (в основном пути в скриптах). Поставил сброс статистики через 5 минут в кроне, и ночью случилась беда: видно perl скрипт не успел занести данные в базу и был вызван повторно в результате утром бред в статистике и куча запущенных процессов... ac

кто-то с таким сталкивался?

Странно, выгрузка статистики о трафике из коллектора в базу занимает секунды и по идее скрипт выгрузки зависнуть не мог. Он прямолинеен и как таковой логики в нем нет. Если есть возможность, скажи какие процессы висят в системе ("куча запущенных процессов")? И что за бред в выводе статистики?

Да, весь вывод логов от системы сбора информации о трафике ("демон коллектор" трафика и скрипты выгрузки данных) отправляют данные в "syslog" с уровнем "local0". Я для сбора всей инфы добавил в "/etc/syslog.conf" следующую строчку:

# Trafd related logs:
local0.*                           -/var/log/trafd

В данном логе отражается вся инфа о работе коллектора съема трафика и скриптах выгрузки данных.

84 (17.08.2010 03:47:36 отредактировано Serg79)

oleg_krv пишет:

Маленькая просьба по web интерфейсу:
указать что базу создавать надо в кои8 кодировке и просьба добавить после установления связи с базой строку:

mysql_query("SET NAMES 'koi8r';");

- установка кодировки связи с базой

Сам этот вопрос досконально не прорабатывал, но если MySQL работает только для обслуживания базы "TrafStat" то думаю что лучше будет добавить строку локализации в конфиг для MySQL в файл "/etc/my.cnf" следующего вида:

default-character-set = koi8r

Или что то подобное.

P.S. а вообще не стесняйтесь сами добавлять запросы на баги и улучшения функционала. Для этого и была развернута система управления проектом TrafStat.

По этому oleg_krv если есть время, то добавь запрос по этой неточности в TrafStat, что бы он так сказать не потерялся.

85

Serg79 сегодня в 13.35 запустил оновленую систему. Базу не создавал новую а переконвертировал с помощью скрипта. Впечетляет база с 80 метров стала весить 13. Но вот что мне пишет syslog

Aug 17 13:40:05 rm-proxy trafsave.pl[10488]: WARNING: Protocol is not supported: srcIp = 192.168.0.18, srcPort = -1, dstIp = 192.168.0.1, dstPort = -1, pId = icmp 
Aug 17 13:45:06 rm-proxy trafsave.pl[11700]: WARNING: Protocol is not supported: srcIp = 192.168.0.18, srcPort = -1, dstIp = 192.168.0.1, dstPort = -1, pId = icmp 
Aug 17 13:45:08 rm-proxy trafsave.pl[11700]: WARNING: Protocol is not supported: srcIp = 95.52.219.147, srcPort = -1, dstIp = 192.168.0.160, dstPort = -1, pId = icmp 
Aug 17 13:45:08 rm-proxy trafsave.pl[11700]: WARNING: Protocol is not supported: srcIp = 93.81.167.224, srcPort = -1, dstIp = 192.168.0.160, dstPort = -1, pId = icmp 
Aug 17 13:45:08 rm-proxy trafsave.pl[11700]: WARNING: Protocol is not supported: srcIp = 77.222.19.179, srcPort = -1, dstIp = 192.168.0.160, dstPort = -1, pId = icmp 
Aug 17 13:45:08 rm-proxy trafsave.pl[11700]: WARNING: Protocol is not supported: srcIp = 114.40.178.231, srcPort = -1, dstIp = 192.168.0.160, dstPort = -1, pId = icmp 
Aug 17 13:45:08 rm-proxy trafsave.pl[11700]: WARNING: Protocol is not supported: srcIp = 123.49.46.11, srcPort = -1, dstIp = 192.168.0.160, dstPort = -1, pId = icmp 
Aug 17 13:45:08 rm-proxy trafsave.pl[11700]: WARNING: Protocol is not supported: srcIp = 59.161.103.10, srcPort = -1, dstIp = 192.168.0.160, dstPort = -1, pId = icmp 
Aug 17 13:45:08 rm-proxy trafsave.pl[11700]: WARNING: Protocol is not supported: srcIp = 83.28.26.176, srcPort = -1, dstIp = 192.168.0.160, dstPort = -1, pId = icmp 
Aug 17 13:45:08 rm-proxy trafsave.pl[11700]: WARNING: Protocol is not supported: srcIp = 87.251.142.11, srcPort = -1, dstIp = 192.168.0.160, dstPort = -1, pId = icmp 
Aug 17 13:45:08 rm-proxy trafsave.pl[11700]: WARNING: Protocol is not supported: srcIp = 213.16.105.133, srcPort = -1, dstIp = 192.168.0.160, dstPort = -1, pId = icmp 
Aug 17 13:45:08 rm-proxy trafsave.pl[11700]: WARNING: Protocol is not supported: srcIp = 83.2.170.195, srcPort = -1, dstIp = 192.168.0.160, dstPort = -1, pId = icmp 
Aug 17 13:45:08 rm-proxy trafsave.pl[11700]: WARNING: Protocol is not supported: srcIp = 91.209.51.149, srcPort = -1, dstIp = 192.168.0.160, dstPort = -1, pId = icmp 
Aug 17 13:45:08 rm-proxy trafsave.pl[11700]: WARNING: Protocol is not supported: srcIp = 212.72.100.130, srcPort = -1, dstIp = 192.168.0.160, dstPort = -1, pId = icmp 
Aug 17 13:45:08 rm-proxy trafsave.pl[11700]: WARNING: Protocol is not supported: srcIp = 124.182.25.223, srcPort = -1, dstIp = 192.168.0.160, dstPort = -1, pId = icmp 
Aug 17 13:45:08 rm-proxy trafsave.pl[11700]: WARNING: Protocol is not supported: srcIp = 183.178.126.81, srcPort = -1, dstIp = 192.168.0.160, dstPort = -1, pId = icmp 
Aug 17 13:45:08 rm-proxy trafsave.pl[11700]: WARNING: Protocol is not supported: srcIp = 189.27.133.37, srcPort = -1, dstIp = 192.168.0.160, dstPort = -1, pId = icmp 
Aug 17 13:45:08 rm-proxy trafsave.pl[11700]: WARNING: Protocol is not supported: srcIp = 85.49.227.138, srcPort = -1, dstIp = 192.168.0.160, dstPort = -1, pId = icmp 
Aug 17 13:45:08 rm-proxy trafsave.pl[11700]: WARNING: Protocol is not supported: srcIp = 219.85.29.7, srcPort = -1, dstIp = 192.168.0.160, dstPort = -1, pId = icmp 
Aug 17 13:45:08 rm-proxy trafsave.pl[11700]: WARNING: Protocol is not supported: srcIp = 212.178.11.8, srcPort = -1, dstIp = 192.168.0.160, dstPort = -1, pId = icmp 
Aug 17 13:45:08 rm-proxy trafsave.pl[11700]: WARNING: Protocol is not supported: srcIp = 90.58.89.240, srcPort = -1, dstIp = 192.168.0.160, dstPort = -1, pId = icmp 
Aug 17 13:45:08 rm-proxy trafsave.pl[11700]: WARNING: Protocol is not supported: srcIp = 86.7.3.213, srcPort = -1, dstIp = 192.168.0.160, dstPort = -1, pId = icmp 
Aug 17 13:45:08 rm-proxy trafsave.pl[11700]: WARNING: Protocol is not supported: srcIp = 59.145.117.22, srcPort = -1, dstIp = 192.168.0.160, dstPort = -1, pId = icmp 
Aug 17 13:45:08 rm-proxy trafsave.pl[11700]: WARNING: Protocol is not supported: srcIp = 216.108.169.145, srcPort = -1, dstIp = 192.168.0.160, dstPort = -1, pId = icmp 
Aug 17 13:45:08 rm-proxy trafsave.pl[11700]: WARNING: Protocol is not supported: srcIp = 178.164.181.54, srcPort = -1, dstIp = 192.168.0.160, dstPort = -1, pId = icmp 
Aug 17 13:45:08 rm-proxy trafsave.pl[11700]: WARNING: Protocol is not supported: srcIp = 193.239.179.10, srcPort = -1, dstIp = 192.168.0.160, dstPort = -1, pId = icmp 
Aug 17 13:45:08 rm-proxy trafsave.pl[11700]: WARNING: Protocol is not supported: srcIp = 78.37.238.138, srcPort = -1, dstIp = 192.168.0.160, dstPort = -1, pId = icmp 

К чему бы это  и как с ним боротса???

Trouble  in WINDOWS reboot, trouble in UNIX be root.

86

kisil пишет:

К чему бы это  и как с ним боротса???

На данный момент обрабатываются только протоколы TCP и UDP, а остальные протоколы игнорируются, но если другой протокол обнаружен кидается WARNING в лог. Учет трафика по протоколам отличным от TCP и UDP требует дополнительной проработки, данный вопрос я пока отложил на потом.

Надо добавить примерно следующее правило для съема трафика коллектору:
Файл: /etc/trafd/trafctl.conf

trafd_eth0_expression="(tcp and (portrange 1-1023 and not broadcast)) or (udp and (portrange 1-1023 and not broadcast))"

87

Хорошо Серг79. Попробуем поправить. Я создал  вопрос на баг трекере по этой проблеме что удалять его. Посмотри?
Статистику какую надо собирать?

Trouble  in WINDOWS reboot, trouble in UNIX be root.

88

kisil пишет:

Статистику какую надо собирать?

Ну тут все без изменений, надо посмотреть сколько будет весить база после сбора статистики в течении суток.))

Для большей загрузки базы можно фиксировать весь TCP и UDP трафик, т.е.:
Файл: /etc/trafd/trafctl.conf

trafd_eth0_expression="tcp or udp"

89

oleg_krv, спасибо что запрос про koi8r добавил.

А вообще, в дальнейшем однозначно надо будет переходить на utf8 и добавлять поддержку нескольких языков в WEB-интерфейсе.

90

Если пригодитса могу помочь перевести на украинский ag

Trouble  in WINDOWS reboot, trouble in UNIX be root.