oleg_krv, у тебя с каким периодом 'cron' запускает выгрузку данных? Должно быть каждые 5 минут:

# Run trafcron.pl
*/5 * * * * /usr/libexec/trafstat/trafcron.pl 2>&1 > /dev/null

Если скрипт выгрузки данных и будет выполнятся в течении 2 - 10 сек. каждые пять минут, то это не страшно.

Система :
Operating system    Ubuntu Linux 10.04
Webmin version    1.510
Time on system    Wed Aug 18 13:26:26 2010
Kernel and CPU    Linux 2.6.32-24-server on x86_64
Processor information    Intel(R) Atom(TM) CPU D510 @ 1.66GHz, 4 cores
ОЗУ    2Гб

я сейчас играюсь и запускаю ручками и прописал в скрипт счетчики и вывод времени после каждых 100 итераций цикла записи в базу

Вот часть лога
[*]
28:29 - Выгружаем дамп
28:29 - Начало обработки
28:29 - Сбросили дамп
28:29 - Получили лог файл - off
28:29 - Начало цикла записи
28:30 - 100 запись
28:30 - 200 запись
28:30 - 300 запись
28:30 - 400 запись
28:31 - 500 запись
28:31 - 600 запись
28:31 - 700 запись
28:31 - 800 запись
28:32 - 900 запись
28:32 - 1000 запись
28:32 - 1100 запись
28:33 - 1200 запись
28:33 - 1300 запись
28:34 - 1400 запись
28:35 - 1500 запись
28:35 - 1600 запись
28:36 - 1700 запись
28:37 - 1800 запись
28:37 - 1900 запись
28:38 - 2000 запись
28:38 - 2100 запись
[/*]

Часть вывода top:
[*]
Tasks: 159 total,   1 running, 158 sleeping,   0 stopped,   0 zombie
Cpu(s): 17.7%us,  8.0%sy,  0.0%ni, 73.6%id,  0.0%wa,  0.2%hi,  0.4%si,  0.0%st
Mem:   2040568k total,  1571404k used,   469164k free,   180008k buffers
Swap:  5976056k total,   268440k used,  5707616k free,   584012k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                         
10046 mysql     20   0  473m  53m 7148 S   98  2.7   2:33.13 mysqld                                                                                                                                         
19387 root      20   0 47812 7700 3092 S    3  0.4   0:01.27 trafsave.pl                                                                                                                                     
20622 trafd     20   0 20480 5616 2532 S    3  0.3   2:02.21 trafd                                                                                                                                           
19225 oleg      20   0 19220 1444 1048 R    1  0.1   0:00.75 top                                                                                                                                             
    1 root      20   0 23696 1620 1080 S    0  0.1   0:05.30 init                                                                                                                                           
    2 root      20   0     0    0    0 S    0  0.0   0:00.00 kthreadd                                                                                                                                       
    3 root      RT   0     0    0    0 S    0  0.0   0:01.70 migration/0                                                                                                                                     
    4 root      20   0     0    0    0 S    0  0.0   0:01.18 ksoftirqd/0
[/*]

Видно что работает mysql толко на одном потоке

Да еще oleg_krv, покажи свою структуру таблицы 'traffic'. Должно быть следующее:

mysql> describe traffic;
+----------+------------------+------+-----+---------+-------+
| Field    | Type             | Null | Key | Default | Extra |
+----------+------------------+------+-----+---------+-------+
| date     | datetime         | NO   | MUL | NULL    |       |
| srcIp    | int(10) unsigned | NO   | MUL | NULL    |       |
| dstIp    | int(10) unsigned | NO   |     | NULL    |       |
| dstPort  | int(11)          | NO   |     | NULL    |       |
| pId      | tinyint(4)       | NO   |     | NULL    |       |
| inBytes  | int(10) unsigned | NO   |     | NULL    |       |
| outBytes | int(10) unsigned | NO   |     | NULL    |       |
+----------+------------------+------+-----+---------+-------+
7 rows in set (0.04 sec)

oleg_krv, ну 1035 записей это не много. А 'trafd' после выгрузки данных в дамп сбрасывает всю свою статистику. Ты можешь примерно сказать сколько времени выполняется скрипт выгружающий данные, 10 сек, минуту или 10 минут? Так же ты не показал структуру таблицы 'traffic' в базе.

Вот мои настройки для 'trafd':

[root@vm-linux ~]# cat /etc/trafd/trafctl.conf
### sample configuration file for trafctl
### copy to trafctl.conf and edit
### $RISS: trafd/trafctl/trafctl.conf-sample.in,v 1.2 2004/11/17 09:21:02 count Exp $

### defaults

### interfaces to run trafd on. if empty, defaults to
### all interfaces that are up, excluding those matching exclude_interfaces
interfaces="eth0"
### intefaces for exclusion, regexp, this default is suitable for us
#exclude_interfaces="lo|(lo|tun|gif|nge|vmnet|bridge|gre|enc)[0-9]+"
#rotate_savefile_prefix="/var/spool/trafd/trafd."
### number of savefiles to keep when rotating
#rotate_num=5
#trafd_program="/usr/sbin/trafd"
#trafslice_program="/usr/sbin/trafslice"
### don't put interfaces into promisc mode, restore on start,
### change credentials to those of user "nobody"
trafd_flags="-p -r -u nobody -g nobody -C"
#trafd_pid_prefix="/var/spool/trafd/run/trafd."
#trafd_sock_prefix="/var/spool/trafd/tmp/trafd."
### pcap expression
#trafd_expression=""
### slice option
#split_period="month"
#split_prefix_month="/var/spool/trafd/%Y%m.trafd."

### you can cpecify overrides for parameters of particular interface

#trafd_an0_flags=""
#trafd_an0_expression=""

#trafd_eth0_expression="(tcp and (portrange 1-1023 and not broadcast)) or (udp and (portrange 1-1023 and not broadcast))"
trafd_eth0_expression="tcp or udp"

Вот конфиг MySQL, показываю только то что касается самого 'mysqld'. Это у меня для тестовой конфигурации и поэтому все параметры для MySQL указаны по минимуму.

# The MySQL server
[mysqld]
port            = 3306
socket          = /var/run/mysql/mysql.sock
skip-locking
key_buffer = 16K
max_allowed_packet = 1M
table_cache = 4
sort_buffer_size = 64K
read_buffer_size = 256K
read_rnd_buffer_size = 256K
net_buffer_length = 2K
thread_stack = 128K

# Don't listen on a TCP/IP port at all. This can be a security enhancement,
# if all processes that need to connect to mysqld run on the same host.
# All interaction with mysqld must be made via Unix sockets or named pipes.
# Note that using this option without enabling named pipes on Windows
# (using the "enable-named-pipe" option) will render mysqld useless!
#
#skip-networking
server-id       = 1

# Uncomment the following if you want to log updates
#log-bin=mysql-bin

# Disable Federated by default
skip-federated

# Uncomment the following if you are NOT using BDB tables
#skip-bdb

# Uncomment the following if you are using InnoDB tables
#innodb_data_home_dir = /var/lib/mysql/
#innodb_data_file_path = ibdata1:10M:autoextend
#innodb_log_group_home_dir = /var/lib/mysql/
#innodb_log_arch_dir = /var/lib/mysql/
# You can set .._buffer_pool_size up to 50 - 80 %
# of RAM but beware of setting memory usage too high
#innodb_buffer_pool_size = 16M
#innodb_additional_mem_pool_size = 2M
# Set .._log_file_size to 25 % of buffer pool size
#innodb_log_file_size = 5M
#innodb_log_buffer_size = 8M
#innodb_flush_log_at_trx_commit = 1
#innodb_lock_wait_timeout = 50

Да oleg_krv, 1 мин. 24 сек. на выгрузку 1284 записи это много. Ты кстати не показал структуру своей таблицы 'traffic'. У меня есть подозрения что ты используешь старую версию TrafStat. Ты откуда получал исходники, через SVN загрузил или архив скачал?

oleg_krv, я тут с индексами игрался и пришел к выводу что ключ "KEY `key2` (`pId`,`date`)" не очень эффективен. Замени индекс `key2` на "KEY `key2` (`srcIp`,`date`)".

Вот патч посмотри:

--- sql/base.sql  (revision 111)
+++ sql/base.sql  (working copy)
@@ -9,7 +9,7 @@
  `inBytes` int unsigned not null,
  `outBytes` int unsigned not null,
  key `key1` (`date`),
- key `key2` (`pId`, `date`)
+ key `key2` (`srcIp`, `date`)
 ) engine = MyISAM;

 drop table if exists `proto`;

собрать в деб пакет можно? а то на сайте видел только тарбол

судя по скринам всё грамотно какие виды авторизации есть?
по поводу дебпакета глянь в сторону самса вещь глюкавая знают (дебпакеты есть рпмпакеты и тарболы) всё и однако даже фряшники кричат что это самая адекватная система по по учёту трафа с авторизацией по домену, именно по домену
хотелось бы увидеть по ип+мак также управление сквидом из админки же

какие виды авторизации есть? вапрошаю потому что ну сам подсуди нафихх малой конторе контроллер домена?
а по ип+мак самое то логично я поднял шлюз с нуля прикрутил снорт фчек отправку логов по почте трипваре фчек и кое что ишо   но вот вапрос с авторизацией не решил придётся наверное подымать КД..
прошу прощения что задел наверное тебя

понял
тогда можно надеется что ты прикрутишь авторизацию по маку и ип плюс управление сквидом?

спасибо молодец что ещё можно сказать? чем могу помочь тебе?

одна из истин на последок
"... И помни дорогу осилит идущий!.."-Лао Дцы

Доступна новая версия системы учета трафика TrafStat.

Основные изменения

Учитывается весь трафик, такой как TCP, ICMP, EGP и т.п.

Полностью изменилась структура хранения трафика в базе, что позволило существенно сократить размеры таблиц для хранения трафика. Если раньше, при доступе к внешним сетям Internet ~60 пользователей таблица в которой храниться трафик за сутки разрасталась до 48 Мбайт и в ней насчитывалось порядка 304448 строк, то сейчас за 30 суток контроля трафика для тех же 60 пользователе таблица имеет размер в 167 Мбайт и число строк 2906580.

Так же полностью изменен алгоритм хранения данных. Теперь весь хранимый трафик разделяется на два вида: "текущий" и "архивный". Статистика по "текущему трафику" (про размер этой таблицы как раз разговор шел выше) доступна с разрешением в один час, а статистика по "архивному трафику" доступна с разрешением в один месяц (что позволяет еще сильнее сжать данные о трафике). Срок хранения трафика по умолчанию в "текущей статистике" равняется 30 дней, в "архивной статистике" равняется 5 годам. Все эти параметры можно изменять через WEB-админку (на данный момент реализация этой фичи в процессе, см. #53).

Одним словом, текущая реализация алгоритма хранения данных трафика является базовой и все остальное в версии 0.1-beta будет добавляться по верх данной структуры базы.

Отдельное спасибо хочется сказать пользователю kisil, его вклад в тестирование TrafStat не возможно переоценить.

Как настроить работу TrafStat

Основные параметры настройки системы для работы TrafStat остались не измены. Это настройки имени базы данных и пользователя для доступа к данной базе. Эти параметры указываются в файле /etc/trafstat/trafstat.conf и ./www/htdocs/trafstat/config.php. Так же необходимо указать коллектору трафика trafd имя интерфейса с которого снимать трафик, данный интерфейс прописывается в файле /etc/trafd/trafctl.conf, параметр interfaces="eth0".

Ну и настроить автоматический запуск скриптов обслуживания съема трафика и базы данных в crond:

# Run trafcron.pl at every 5 minutes
*/5 * * * * /usr/libexec/trafstat/trafcron.pl --daemon 2>&1 > /dev/null
# Run trafarch.pl at 4:23 every day
23 4 * * * /usr/libexec/trafstat/trafarch.pl --daemon 2>&1 > /dev/null
# Run trafclean.pl at 4:28 every day
28 4 * * * /usr/libexec/trafstat/trafclean.pl --daemon 2>&1 > /dev/null
# Run trafserve.pl at 4:33 every day
33 4 * * * /usr/libexec/trafstat/trafserve.pl --daemon 2>&1 > /dev/null

Как получить новую версию

Загрузить новую версию можно непосредственно в виде tar-архива или из SVN-репозитария с ветки 'trunk': http://svn.shelek.su/public/trafstat/trunk/ .

Необходимо установить библиотеку 'libpcap'.

а с netflow умеет работать? (или будет в перспективе?)