1

При раздаче интернета через Squid3 столкнулся с рядом сложностей. В результате возник ряд вопросов, по которым прошу форумных гуру просветить меня:

  1. Посоветуйте стабильный анализатор логов для Squid3 с web-интерфейсом (желательно realtime), с возможностью формирования отчетов с графиками и прочим. Желательно наличие в родных репозиториях.

  2. Не смог найти внятного материала настройке ClamAV для проверки трафика проходящего через Squid3 т.е. без еретического на Debian make install. В частности может кто подскажет статью или в теме опишет работу с libc-icap-mod-clamav?

  3. Посоветуйте стабильный и простой в настройке почтовик, который может пересылать почту на сторонние почтовые сервисы (Яндекс, Gmail и пр.)

  4. Запретил скачивание файлов с определенными расширениями вроде *.mp3 и прочего. Но не получается запретить потоковое аудио и видео. Пробовал по этому материалу.

  5. Ну и последний вопрос. Есть ли хорошая альтернатива Squid3 без проблем с pop3/smtp/imap и др. Читал про dante-server. Кто-нибудь его использует? Есть ли у dante-server в частности и у socks прокси вообще, какие либо недостатки и ограничения?

2

Nigelist пишет:

Посоветуйте стабильный анализатор логов для Squid3 с web-интерфейсом (желательно realtime), с возможностью формирования отчетов с графиками и прочим. Желательно наличие в родных репозиториях.

Попробуйте LightSquid. В репозиториях Debian он есть. Другим вашим требованиям он также соответствует.

Nigelist пишет:

Посоветуйте стабильный и простой в настройке почтовик, который может пересылать почту на сторонние почтовые сервисы (Яндекс, Gmail и пр.)

Postfix, qmail, exim.

3

allez, спасибо! С другими вопросами идей нет:

4

почтарь xmail ещё =) проще некуда.

Ищу дополнительный заработок (удалёнка).
Пьянка без секса – признак алкоголизма.

5

Nigelist пишет:

allez, спасибо! С другими вопросами идей нет:

Да завсегда пожалуйста. ab
По другим вопросам, увы, ничего не подскажу, поскольку с задачами такого рода за всю свою жизнь ни разу не сталкивался.

6 (10.03.2014 12:24:16 отредактировано Nigelist)

А по поводу блокирования потоковых данных (видео и аудио) с того же youtube.com, music.yandex.ru, zaycev.net ничего не посоветуете? У кого получилось запретить видео и аудио с этих сайтов, поделитесь рецептом.

7

Nigelist пишет:

А по поводу блокирования потоковых данных (видео и аудио) с того же youtube.com, music.yandex.ru, zaycev.net ничего не посоветуете? У кого получилось запретить видео и аудио с этих сайтов, поделитесь рецептом.

squid

Ищу дополнительный заработок (удалёнка).
Пьянка без секса – признак алкоголизма.

8

Kettler, чтобы это значило? Я имел в виду правила запрета. У меня Squid3.

9

allez, а ещё есть альтернативы, которые нормально работают с тем же nginx? А то, что-то не получилось lightsquid прикрутить к nginx.

10

Nigelist, SARG не подойдёт?

Slackware  14.1 KDE
Один Терафлю это 1024 Гигафлю или 1048576 Мегафлю!!!

11

Nigelist пишет:

allez, а ещё есть альтернативы, которые нормально работают с тем же nginx? А то, что-то не получилось lightsquid прикрутить к nginx.

А что конкретно не получается?  Из анализаторов есть SARG, SAMS, http://www.opennet.ru/prog/sml/100.shtml Вот чтоб прям реалтайма я не видел,  на лайтсквиде логи парсятся быстро и с минимумом нанагрузки на сервер. Плюс его можно запихнуть в крон на каждые полчаса. Сарг логи парсит небыстро, и клепает кучу маленких хтмл страничек.

12

По поводу 2 пункта http://interface31.ru/tech_it/2010/06/u … lamav.html

13 (15.03.2014 05:25:40 отредактировано allez)

Nigelist пишет:

allez, а ещё есть альтернативы, которые нормально работают с тем же nginx? А то, что-то не получилось lightsquid прикрутить к nginx.

Гляньте сюда: "Как запустить lightsquid под nginx", вдруг да поможет?

14

AQIS пишет:

на лайтсквиде логи парсятся быстро и с минимумом нанагрузки на сервер. Плюс его можно запихнуть в крон на каждые полчаса

Категорически подтверждаю. ab Я, например, в свое время по просьбе руководства запускал lightparser каждые пять минут на прокси, за которым сидело примерно полсотни пользователей. Логи парсились за считанные секунды.

15 (15.03.2014 07:18:49 отредактировано Nigelist)

AQIS пишет:

А что конкретно не получается?  Из анализаторов есть SARG, SAMS, http://www.opennet.ru/prog/sml/100.shtml

Не получается подружить lightsquid с nginx. Большая часть статей посвященная установке lightsquid, ориентирована на apache2. А у меня уже настроен nginx + php5-fpm. SAMS2 не захотел собираться в пакет, пробовал зависимости в готовом пакете, просто перепаковал их, так демон SAMS вообще не запустился. Хотя да, изначально хотел поставить SAMS2.

frost42 пишет:

Nigelist, SARG не подойдёт?

Насколько я читал про неё - тяжелая программка. Что подтверждают форумчане:

AQIS пишет:

Сарг логи парсит небыстро, и клепает кучу маленких хтмл страничек.

AQIS пишет:

По поводу 2 пункта http://interface31.ru/tech_it/2010/06/u … lamav.html

Там используется HAVP. А его в репозиториях стабильного Debian нету. Проверено.

P.S. Единственное чего добился при попытке прикрутить lightsquid к nginx, это страничку: Access denied.
P.P.S. Только что попробовал webmin, не понравилось.

16

Nigelist пишет:

Не смог найти внятного материала настройке ClamAV для проверки трафика проходящего через Squid3 т.е. без еретического на Debian make install.

ClamAV уже ересь. NoWay.

Nigelist пишет:

Посоветуйте стабильный и простой в настройке почтовик, который может пересылать почту на сторонние почтовые сервисы (Яндекс, Gmail и пр.)

msmtp

Nigelist пишет:

Запретил скачивание файлов с определенными расширениями вроде *.mp3 и прочего.

неужели вы думаете, что ваши юзеры не умеют качать и делать такое: http://urlid.ru/blkg ?

Nigelist пишет:

Ну и последний вопрос. Есть ли хорошая альтернатива Squid3

сквид и так неплохо работает.

Карусель разнесло по цепочке за час
Всех известий — конец
Да, весна началась!
(всё к лицу подлецу, как родному отцу, не рассказывай, батя, и так всё пройдёт)

17

drBatty, я конечно вас уважаю и преклоняюсь перед вашими знаниями и опытом. За

drBatty пишет:

msmtp

спасибо. Но давайте без вашего повсеместного сарказма и иронии (типа: "вы все гавно"). Вообще хотелось бы больше конкретики. И желательно с ссылками на рабочие примеры. Если Clamav ересь, что не ересь Из бесплатного конечно?

drBatty пишет:

неужели вы думаете, что ваши юзеры не умеют качать и делать такое: http://urlid.ru/blkg ?

Думаю 99% не умеет точно. А кто умеет, тому мы и сами разрешим, т.к. эти люди с пониманием.

toAll по поводу прикручивания lightsquid к nginx. Насколько я понял, надо в кофиг сайта добавить секцию location в которой явно указать директорию в которой лежать необходимые файлы lightsquid. Если я не ошибаюсь, вот директория:

 Консоль:
/usr/lib/cgi-bin/lightsquid/

которая содержит нужный файл: index.cgi

Но вот только я не знаю, как правильно описать эту секцию.

18 (15.03.2014 16:40:33 отредактировано drBatty)

Nigelist пишет:

Если Clamav ересь, что не ересь

/0

(бесплатно нельзя. Но мысы сделала калькулятор, который делит на ноль, и получается +бесконечность)

Думаю 99% не умеет точно.

они умеют гуглить.

Карусель разнесло по цепочке за час
Всех известий — конец
Да, весна началась!
(всё к лицу подлецу, как родному отцу, не рассказывай, батя, и так всё пройдёт)

19

Кто нибудь может конфиг lightsquid заточенный под Apache, переделать для nginx? Вот собственно кофиг:

 Консоль:
Alias   /lightsquid/    /usr/lib/cgi-bin/lightsquid/

<Location "/lightsquid/">
        Order deny,allow
        Deny from all
        Allow from 127.0.0.0/255.0.0.0
# Before uncommenting the following lines please put IP address
# of your computer in the Allow line
        # Allow from REPLACE-WITH.YOUR-HOST.IP-ADDRESS
# IPv6 addresses work only with apache2
        Allow from ::1/128
</Location>

20

Хочу продолжить в этой теме обсуждение статьи с linuxru.org. В данный момент возникло несколько вопросов применительно настроек cgi на Debian (fcgiwrap и spawn-fcgi установлены).

  1. У меня нету файла:

     Консоль:
    cp /etc/conf.d/spawn-fcgi

    И хотя содержимое файла приведено в статье, непонятно где этой файл храниться в Debian?

  2. В настройке указаны пользователь и группа nginx:

     Консоль:
    ...
    FCGI_USER=nginx
    FCGI_GROUP=nginx
    ...

    Должен ли на Debian указан пользователь www-data?

  3. Та же сама ситуация с:

     Консоль:
    ...
    $ cd /etc/init.d/
    $ ln -s spawn-fcgi spawn-fcgi.fcgiwrap
    ...

    В /etc/init.d нету файла spawn-fcgi, хотя может имеется в виду /etc/conf.d/spawn-fcgi?

  4. Нету файла /etc/nginx/fastcgi.conf, где брать не указано.

     Консоль:
    ...
      include /etc/nginx/fastcgi_params;
      include /etc/nginx/fastcgi.conf;
      fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
    ...

21

Nigelist пишет:

Kettler, чтобы это значило? Я имел в виду правила запрета. У меня Squid3.

Поиск в гугле тьма примеров, первая ссылка
http://www.linux.org.ru/forum/admin/9980933

Ищу дополнительный заработок (удалёнка).
Пьянка без секса – признак алкоголизма.

22

Kettler, так читал эту тему, предложенные там способы не всегда работают. Тот же youtube, пропускают правила описанные в теме по вашей ссылке.

23

Nigelist пишет:

Должен ли на Debian указан пользователь www-data?

это администратор решает. Юзер www-data создаётся автоматически, когда вы ставите LAMP. Если вы его ДО этого ставили, то наверное "должен".

Nigelist пишет:

И хотя содержимое файла приведено в статье, непонятно где этой файл храниться в Debian?

хрен знает. Почему не почитать мануал про Debian? Или не поставить Gentoo?

Карусель разнесло по цепочке за час
Всех известий — конец
Да, весна началась!
(всё к лицу подлецу, как родному отцу, не рассказывай, батя, и так всё пройдёт)

24 (25.03.2014 12:58:43 отредактировано Nigelist)

drBatty, так там вроде разобрались, хранится если кому интересно в:

 Консоль:
/etc/default/

25 (27.03.2014 12:46:53 отредактировано Nigelist)

Прикрутил таки LightSquid к Nginx. Единственная проблема с которой я столкнулся, это отсутствие локализации на русском в UTF-8. Но можно самостоятельно создать файл локализации:

 Консоль:
vim /usr/share/lightsquid/lang/ru-utf8.lng

Со следующим содержимым:

+ открыть спойлер

 Консоль:
#Version   : 1.7
#Translator: Sergey Erokhin, Vladislav Naumov (bugfix, rewrite) ;-)
#Date      : 23 Jun 2005, last update 05 sep 2006
#Lang      : russian utf8
MSG_CODEPAGE=utf8
MSG_HEADER=Отчёт по использованию интернета, прокси-сервер Squid.
MSG_ACCESSED_SITE=Посещённые сайты
MSG_AVERAGE=В среднем
MSG_BIG_FILE_DOWNLOAD_REPORT=Отчёт о БОЛЬШИХ скачаных файлах
MSG_BIG_FILES=Кто скачал БОЛЬШИЕ файлы
MSG_BIG_FILES_USER=Пользователь качал БОЛЬШИЕ файлы
MSG_BYTES=Байт
MSG_CONNECT=Соединений
MSG_CUMULATIVE=Итого
MSG_DATE=Дата
MSG_GROUP=Группа
MSG_GRP=груп.
MSG_HIT%=Cache Hit %
MSG_MONTH=МЕСЯЦ
MSG_NUM=№
MSG_NOT_IN_GROUP=вне группы
MSG_OVERSIZE=Превысили
MSG_OVERSIZE_HEAD=Пользователи, превысившие квоту
MSG_OVERSIZE_TAIL=байт
MSG_REPORT=(отчёт)
MSG_SIZE=Скачано
MSG_TIME=Время
MSG_TOP_SITES=Популярные сайты
MSG_TOTAL=Всего
MSG_TOTAL_AVERAGE=Всего/В среднем
MSG_TIME_REPORT=Время
MSG_TIME_LINK=[T]
MSG_URL=URL
MSG_USER=Пользователь
MSG_USER_WHO_USE_SITE=Пользователи, посещавшие сайт
MSG_UPDATE=Обновлено
MSG_USERS=Пользователей
MSG_WHO=ну и Кто
MSG_WHOLE=целиком
MSG_WORK_PERIOD=Отчётный период
MSG_YEAR=ГОД
MSG_WARNING=Внимание!!!
MSG_RECOMENDATION=я рекомендую установить
MSG_DAYLIST=Когда
MSG_GRAPH_LINK=[G]
MSG_GRAPH_REPORT=График
MSG_PUTPOST=PutPost
MSG_REALNAME=Ф.И.О
MSG_USER_MONTH=[M]
MSG_WEEKSUM=За неделю
MSG_CALENDAR=Календарь
#
MSG_MONTH01=Янв
MSG_MONTH02=Фев
MSG_MONTH03=Мар
MSG_MONTH04=Апр
MSG_MONTH05=Май
MSG_MONTH06=Июн
MSG_MONTH07=Июл
MSG_MONTH08=Авг
MSG_MONTH09=Сен
MSG_MONTH10=Окт
MSG_MONTH11=Ноя
MSG_MONTH12=Дек

В файле:

 Консоль:
vim /etc/lightsquid/lightsquid.cfg

Привести переменную $lang к виду:
 Консоль:
$lang                ="ru-utf8";

P.S. К сожалению, даже IE11 не может автоматически определить

26 (06.09.2014 11:49:09 отредактировано dtulyakov)

Nigelist пишет:

Прикрутил таки LightSquid к Nginx.

так опиши как ты это сделал ;-)

Nigelist пишет:

P.S. К сожалению, даже IE11 не может автоматически определить

поставь дефолтную кодировку в нгниксе - и будет тебе счастье

27

dtulyakov, точно уже и не помню, но взял настройку phpMyAdmin

+ открыть спойлер

 Консоль:
    location /phpmyadmin {
        root /usr/share/;
        index index.php index.html index.htm;
        location ~ ^/phpmyadmin/(.+\.php)$ {
            try_files $uri =404;
            root /usr/share/;
            fastcgi_pass 127.0.0.1:9000;
            fastcgi_index index.php;
            fastcgi_param SCRIPT_FILENAME $request_filename;
            include /etc/nginx/fastcgi_params;
        }
        location ~* ^/phpmyadmin/(.+\.(jpg|jpeg|gif|css|png|js|ico|html|xml|txt))$ {
            root /usr/share/;
        }
    }
    location /phpMyAdmin {
        rewrite ^/* /phpmyadmin last;
    }

И исправил пути под lightsquid. Должно получится примерно так:

+ открыть спойлер

 Консоль:
    location /lightsquid {
        root /usr/lib/cgi-bin/;
        index index.php index.html index.htm;
        location ~ ^/lightsquid/(.+\.php)$ {
            try_files $uri =404;
            root /usr/lib/cgi-bin/;
            fastcgi_pass 127.0.0.1:9000;
            fastcgi_index index.php;
            fastcgi_param SCRIPT_FILENAME $request_filename;
            include /etc/nginx/fastcgi_params;
        }
        location ~* ^/lightsquid/(.+\.(jpg|jpeg|gif|css|png|js|ico|html|xml|txt))$ {
            root /usr/lib/cgi-bin/;
        }
    }
    location /phpMyAdmin {
        rewrite ^/* /lightsquid last;
    }

28

Nigelist пишет:

Date      : 23 Jun 2005, last update 05 sep 2006

вот. GNU. Почти за десять лет русские не удосужились запушить свою локализацию. Какие-же мы криворукие…

Карусель разнесло по цепочке за час
Всех известий — конец
Да, весна началась!
(всё к лицу подлецу, как родному отцу, не рассказывай, батя, и так всё пройдёт)

29

drBatty, так есть локализация, её нету в юникоде. По крайней мере в пакете, а ещё там нету настроек под nginx. Может пересоберу пакет с исправлениями, но куда его кидать просто не знаю.

30

Nigelist пишет:

но куда его кидать просто не знаю.

http://lightsquid.sourceforge.net/ там есть чудная кнопка "контакты". И судя по имени, Sergey Erokhin владеет родным для нас (во всяком случае для меня) языком. Да и вообще этот файл, который вы кинули, тоже от него. Может есть более прямой способ?

Карусель разнесло по цепочке за час
Всех известий — конец
Да, весна началась!
(всё к лицу подлецу, как родному отцу, не рассказывай, батя, и так всё пройдёт)