<![CDATA[Linux Forum — Squid ssl-bump, прозрачный прокси с https (443)]]> 2014-09-15T09:00:11Z PunBB https://linuxforum.ru/viewtopic.php?id=26996 <![CDATA[Re: Squid ssl-bump, прозрачный прокси с https (443)]]> День добрый. Извините, что поднимаю достаточно старую тему.
Пытаюсь настроить аналогичным образом, не получается.

Если можно, опишу ситуацию подробнее.
Сервер: FreeBSD serv1 10.0-RELEASE FreeBSD 10.0-RELEASE #0 r260789: Fri Jan 17 01:46:25 UTC 2014 root@snap.freebsd.org:/usr/obj/usr/src/sys/GENERIC i386
Два сетевых интерфейса:
10.10.0.0/24
192.168.0.0/22
Который 10.10 - смотрит непосредственно на клиентскую машину.
Ipconfig машины
IP Adress 10.10.0.3
Subnet Mask 255.255.255.0
Default Gateway 10.10.0.2 (IP сервера на FreeBSD)

Никаких DNS не настраивал. Никаких прокси-серверов в свойствах браузера не прописывал, все прозрачно, по идее.

На FreeBSD поднят Squid:

root@serv1:/usr/local/etc/squid # squid -v
Squid Cache: Version 3.3.13
configure options:  '--with-default-user=squid' '--bindir=/usr/local/sbin' '--sbindir=/usr/local/sbin' '--datadir=/usr/local/etc/squid' '--libexecdir=/usr/local/libexec/squid' '--localstatedir=/var' '--sysconfdir=/usr/local/etc/squid' '--with-logdir=/var/log/squid' '--with-pidfile=/var/run/squid/squid.pid' '--with-swapdir=/var/squid/cache/squid' '--enable-auth' '--enable-build-info' '--enable-loadable-modules' '--enable-removal-policies=lru heap' '--disable-epoll' '--disable-linux-netfilter' '--disable-linux-tproxy' '--disable-translation' '--disable-eui' '--disable-cache-digests' '--disable-delay-pools' '--disable-ecap' '--disable-esi' '--disable-follow-x-forwarded-for' '--enable-htcp' '--enable-icap-client' '--disable-icmp' '--enable-ident-lookups' '--enable-ipv6' '--enable-kqueue' '--with-large-files' '--disable-http-violations' '--enable-snmp' '--enable-ssl' '--disable-ssl-crtd' '--disable-stacktraces' '--enable-ipf-transparent' '--enable-ipfw-transparent' '--enable-pf-transparent' '--disable-forw-via-db' '--enable-wccp' '--enable-wccpv2' '--enable-auth-basic=DB MSNT MSNT-multi-domain NCSA PAM POP3 RADIUS fake getpwnam NIS' '--enable-auth-digest=file' '--enable-external-acl-helpers=file_userip time_quota unix_group' '--enable-auth-negotiate=kerberos wrapper' '--enable-auth-ntlm=fake smb_lm' '--enable-storeio=diskd rock ufs aufs' '--enable-disk-io=AIO Blocking DiskDaemon IpcIo Mmapped DiskThreads' '--enable-log-daemon-helpers=file' '--enable-url-rewrite-helpers=fake' '--with-openssl=/usr' '--prefix=/usr/local' '--mandir=/usr/local/man' '--infodir=/usr/local/info/' '--build=i386-portbld-freebsd10.0' 'build_alias=i386-portbld-freebsd10.0' 'CC=cc' 'CFLAGS=-O2 -pipe -I/usr/include -fno-strict-aliasing' 'LDFLAGS= -pthread -Wl,-rpath,/usr/lib:/usr/local/lib -L/usr/lib' 'LIBS=' 'CPPFLAGS=' 'CXX=c++' 'CXXFLAGS=-O2 -pipe -I/usr/include -fno-strict-aliasing -Wno-unused-private-field' 'CPP=cpp' --enable-ltdl-convenience

Вот Squid.conf

#adress for local connections
http_port 0.0.0.0:3128
#adress for traffic from firewall
#http_port 127.0.0.1:3129 intercept
  
#connection_timeout 20 second
dns_nameservers 192.168.0.122 192.168.0.10
  
#IPv4/IPv6 priority
dns_v4_first on
shutdown_lifetime 10 seconds
coredump_dir /usr/local/squid
#acess_log daemon:/usr/local/squid/log/access.log squid
  
log_mime_hdrs on
#cache_manager root@localhost
visible_hostname serv.altest.net
  
#ICAP SECTION
icap_enable on
icap_service_failure_limit 500
icap_service_revival_delay 30
icap_service Zgate_ICAP_Proxy reqmod_precache bypass=0 icap://192.168.0.231:1344/reqmod
icap_service Zgate_ICAP_Logger respmod_precache routing=1 icap://192.168.0.231:1344/respmod
icap_send_client_ip on
icap_send_client_username on
adaptation_service_set class_proxy Zgate_ICAP_Proxy
adaptation_service_set class_logger Zgate_ICAP_Logger
adaptation_access class_proxy allow all
adaptation_access class_logger allow all
  
#HTTPS SECTION
http_port 3128 ssl-bump cert=/usr/local/etc/squid/root.cer key=/usr/local/etc/squid/root.key generate-host-certificates=on
ssl_bump client-first all
#ssl_bump server-first all
#ssl_bump allow all
always_direct allow all
sslproxy_cert_error allow all
  
#ACCESS CONTROL LISTS!
acl localnet src 192.168.0.0/22
acl localnet src 10.10.0.0/24
acl CONNECT method CONNECT
acl BlockSite dstdomain .woman.ru
acl BlockSite dstdomain .odnoklassniki.ru
http_access allow manager localhost
http_access deny to_localhost
http_access deny all BlockSite
http_access allow localnet
http_reply_access allow all
refresh_pattern -i (/cgi-bin/|\?) 0     0%      0
refresh_pattern .               0       20%     4320

После запуска Squid смотрю cache.log, в нем вижу строчки:
2014/09/15 10:17:22 kid1| Accepting HTTP Socket connections at local=0.0.0.0:3128 remote=[::] FD 11 flags=9
2014/09/15 10:17:22 kid1| Accepting SSL bumped HTTP Socket connections at local=[::]:3128 remote=[::] FD 12 flags=9

То есть по сути, Squid должен разбирать https-пакеты.
К сожалению, когда смотрю в access.log, вижу там по https примерно следующее:

1410763349.858 1788 10.10.0.3 TCP_MISS/200 388 CONNECT mail.radar.imgsmail.ru:443 - HIER_DIRECT/185.5.137.251 - [User-Agent: Mozilla/5.0 (Windows NT 5.1; rv:32.0) Gecko/20100101 Firefox/32.0\r\nProxy-Connection: keep-alive\r\nConnection
1410763350.279 425 10.10.0.3 TCP_MISS/200 388 CONNECT mail.radar.imgsmail.ru:443 - HIER_DIRECT/185.5.137.251 - [User-Agent: Mozilla/5.0 (Windows NT 5.1; rv:32.0) Gecko/20100101 Firefox/32.0\r\nProxy-Connection: keep-alive\r\nConnection
1410763350.360 72 10.10.0.3 TCP_MISS/302 1430 GET http://vk.com/login.php? - HIER_DIRECT/87.240.143.241 text/html [Host: vk.com\r\nUser-Agent: Mozilla/5.0 (Windows NT 5.1; rv:32.0) Gecko/20100101 Firefox/32.0\r\nAccept: text/html,appl

То есть если на том же vk.com я вижу, что происходит (GET/POST), то на том же mail.ru я вижу только CONNECT. Соответственно, DLP-система тоже ничего не видит. Подскажите пожалуйста, что я делаю не так.

]]> https://linuxforum.ru/profile.php?id=35371 2014-09-15T09:00:11Z https://linuxforum.ru/viewtopic.php?pid=422472#p422472 <![CDATA[Re: Squid ssl-bump, прозрачный прокси с https (443)]]> добрый день! спасибо форуму, наконец то настроил ssl bump! не могу понять как фильтровать полученный трафик через dansguardian, он же только на 1 порту фильтрует? надо поднимать еще 1 связку сквид+фильтр?

]]> https://linuxforum.ru/profile.php?id=34020 2014-04-05T16:52:39Z https://linuxforum.ru/viewtopic.php?pid=403938#p403938 <![CDATA[Re: Squid ssl-bump, прозрачный прокси с https (443)]]> Права доступа неправильно выставил.

]]> https://linuxforum.ru/profile.php?id=20103 2014-03-20T06:17:38Z https://linuxforum.ru/viewtopic.php?pid=401396#p401396 <![CDATA[Re: Squid ssl-bump, прозрачный прокси с https (443)]]> zenon пишет:

# mkdir /etc/squid/ssl && cd /etc/squid/ssl && chown -R squid:squd /etc/squid/ssl
# openssl genrsa -out /etc/squid/ssl/squid.key
# openssl req -new -key /etc/squid/ssl/squid.key -out /etc/squid/ssl/squid.csr
# openssl x509 -req -days 3650 -in /etc/squid/ssl/squid.csr -signkey /etc/squid/ssl/squid.key -out /etc/squid/ssl/squid.pem

Подскажите почему может ругаться на сертификаты ?

FATAL: No valid signing SSL certificate configured for https_port [::]:3129
Squid Cache (Version 3.4.4-20140309-r13106): Terminated abnormally.
CPU Usage: 0.008 seconds = 0.004 user + 0.004 sys
Maximum Resident Size: 20144 KB
Page faults with physical i/o: 0
Ошибка запуска

/var/log/syslog

gateway squid: No valid signing SSL certificate configured for https_port [::]:3129

squid -v

Squid Cache: Version 3.4.4-20140309-r13106
configure options:  '--prefix=/opt/squid' '--enable-auth' '--enable-delay-pools' '--enable-ssl' '--enable-ssl-crtd'
]]> https://linuxforum.ru/profile.php?id=20103 2014-03-20T06:11:26Z https://linuxforum.ru/viewtopic.php?pid=401395#p401395 <![CDATA[Re: Squid ssl-bump, прозрачный прокси с https (443)]]> У меня тоже ошибку выдает, squid - 3.3.8. Видимо да, пока только прозрачно, глубже не вникал.

]]> https://linuxforum.ru/profile.php?id=174 2014-03-16T15:30:54Z https://linuxforum.ru/viewtopic.php?pid=400788#p400788 <![CDATA[Re: Squid ssl-bump, прозрачный прокси с https (443)]]> Вроде как заработало.  сертификаты генерируются.

НО, при указании опции intercept (transparent) к порту,   Если в браузере указать явно настройки прокси то выдает Access Denien, а без настроек работает.  Может это SQUID 3.4 так только работает, если указываешь ему intercept, то только прозрачно и может работать?

]]> https://linuxforum.ru/profile.php?id=33830 2014-03-16T08:31:25Z https://linuxforum.ru/viewtopic.php?pid=400704#p400704 <![CDATA[Re: Squid ssl-bump, прозрачный прокси с https (443)]]> smotritel89 пишет:

# Squid normally listens to port 3128 http_port 3128 intercept https_port 3129 intercept ssl-bump generate-host-certificates=on dynamic_cert_mem_cache_size=4MB cert=/usr/local/squid/ssl/squid.pem key=/usr/local/squid/ssl/squid.key

У меня так сделано: 

http_port 192.168.100.1:8080
http_port 192.168.100.1:3128 transparent
https_port 192.168.100.1:3129 transparent ssl-bump generate-host-certificates=on dynamic_cert_mem_cache_size=4MB cert=/etc/squid3/ssl/squid.pem key=/etc/squid3/ssl/squid.pem
]]> https://linuxforum.ru/profile.php?id=174 2014-03-14T12:45:48Z https://linuxforum.ru/viewtopic.php?pid=400258#p400258 <![CDATA[Re: Squid ssl-bump, прозрачный прокси с https (443)]]> marikk пишет:
smotritel89 пишет:

на порту 3128 открываются сайты, а HTTPS не работает.

А вы 443 порт на 3129 завернули ?

конечно.

]]> https://linuxforum.ru/profile.php?id=33830 2014-03-14T12:44:47Z https://linuxforum.ru/viewtopic.php?pid=400257#p400257 <![CDATA[Re: Squid ssl-bump, прозрачный прокси с https (443)]]> А если браузер Google Chrome - то, чтобы не выкидывало сообщений о недостоверности сертификата, в свойствах ярлыка после кавычек надо дописать: --ignore-certificate-errors

]]> https://linuxforum.ru/profile.php?id=174 2014-03-14T12:38:58Z https://linuxforum.ru/viewtopic.php?pid=400256#p400256 <![CDATA[Re: Squid ssl-bump, прозрачный прокси с https (443)]]> smotritel89 пишет:

на порту 3128 открываются сайты, а HTTPS не работает.

А вы 443 порт на 3129 завернули ?

]]> https://linuxforum.ru/profile.php?id=20103 2014-03-14T12:38:23Z https://linuxforum.ru/viewtopic.php?pid=400255#p400255 <![CDATA[Re: Squid ssl-bump, прозрачный прокси с https (443)]]> Значит установлен неправильно-сгенерированный сертификат в браузер, либо совсем не установлен. Я по этой инструкции делал - работает.

]]> https://linuxforum.ru/profile.php?id=174 2014-03-14T12:35:05Z https://linuxforum.ru/viewtopic.php?pid=400254#p400254 <![CDATA[Re: Squid ssl-bump, прозрачный прокси с https (443)]]> marikk пишет:

smotritel89,
Конфиг squid можно ?

Вообщем пересобрал другую версию SQUID 3.4
теперь другая ситуация:

1) Запускаю SQUID,
2) захожу на какой нибудь сайт HTTPS -> в браузере Ошибка в сертификате... -> Нажимаю продолжить -> не возможно отобразить страницу..
3) SQUID вырубается.

в логе cache.log

2014/03/14 07:06:15| Squid is already running!  Process ID 2617
2014/03/14 07:08:16 kid1| Set Current Directory to /usr/local/squid/var/cache/squid
2014/03/14 07:08:16 kid1| Starting Squid Cache version 3.4.4 for x86_64-unknown-linux-gnu...
2014/03/14 07:08:16 kid1| Process ID 2629
2014/03/14 07:08:16 kid1| Process Roles: worker
2014/03/14 07:08:16 kid1| With 1024 file descriptors available
2014/03/14 07:08:16 kid1| Initializing IP Cache...
2014/03/14 07:08:16 kid1| DNS Socket created at [::], FD 7
2014/03/14 07:08:16 kid1| DNS Socket created at 0.0.0.0, FD 8
2014/03/14 07:08:16 kid1| Adding domain www.com from /etc/resolv.conf
2014/03/14 07:08:16 kid1| Adding domain www.com from /etc/resolv.conf
2014/03/14 07:08:16 kid1| Adding nameserver 10.0.0.11 from /etc/resolv.conf
2014/03/14 07:08:16 kid1| helperOpenServers: Starting 5/32 'ssl_crtd' processes
2014/03/14 07:08:16 kid1| Logfile: opening log daemon:/usr/local/squid/var/logs/access.log
2014/03/14 07:08:16 kid1| Logfile Daemon: opening log /usr/local/squid/var/logs/access.log
2014/03/14 07:08:17 kid1| Unlinkd pipe opened on FD 24
2014/03/14 07:08:17 kid1| Store logging disabled
2014/03/14 07:08:17 kid1| Swap maxSize 3072000 + 262144 KB, estimated 256472 objects
2014/03/14 07:08:17 kid1| Target number of buckets: 12823
2014/03/14 07:08:17 kid1| Using 16384 Store buckets
2014/03/14 07:08:17 kid1| Max Mem  size: 262144 KB
2014/03/14 07:08:17 kid1| Max Swap size: 3072000 KB
2014/03/14 07:08:17 kid1| Rebuilding storage in /usr/local/squid/var/cache/squid (clean log)
2014/03/14 07:08:17 kid1| Using Least Load store dir selection
2014/03/14 07:08:17 kid1| Set Current Directory to /usr/local/squid/var/cache/squid
2014/03/14 07:08:17 kid1| ERROR: No forward-proxy ports configured.
2014/03/14 07:08:17 kid1| ERROR: No forward-proxy ports configured.
...............
2014/03/14 07:08:17 kid1| ERROR: No forward-proxy ports configured.
2014/03/14 07:08:17 kid1| ERROR: No forward-proxy ports configured.
2014/03/14 07:08:17 kid1| ERROR: No forward-proxy ports configured.
2014/03/14 07:08:17 kid1| ERROR: No forward-proxy ports configured.
2014/03/14 07:08:17 kid1| Finished loading MIME types and icons.
2014/03/14 07:08:17 kid1| HTCP Disabled.
2014/03/14 07:08:17 kid1| Squid plugin modules loaded: 0
2014/03/14 07:08:17 kid1| Accepting NAT intercepted HTTP Socket connections at local=[::]:3128 remote=[::] FD 27 flags=41
2014/03/14 07:08:17 kid1| Accepting NAT intercepted SSL bumped HTTPS Socket connections at local=[::]:3129 remote=[::] FD 28 flags=41
2014/03/14 07:08:17 kid1| Done reading /usr/local/squid/var/cache/squid swaplog (103 entries)
2014/03/14 07:08:17 kid1| Finished rebuilding storage from disk.
2014/03/14 07:08:17 kid1|       103 Entries scanned
2014/03/14 07:08:17 kid1|         0 Invalid entries.
2014/03/14 07:08:17 kid1|         0 With invalid flags.
2014/03/14 07:08:17 kid1|       103 Objects loaded.
2014/03/14 07:08:17 kid1|         0 Objects expired.
2014/03/14 07:08:17 kid1|         0 Objects cancelled.
2014/03/14 07:08:17 kid1|         0 Duplicate URLs purged.
2014/03/14 07:08:17 kid1|         0 Swapfile clashes avoided.
2014/03/14 07:08:17 kid1|   Took 0.03 seconds (4023.12 objects/sec).
2014/03/14 07:08:17 kid1| Beginning Validation Procedure
2014/03/14 07:08:17 kid1|   Completed Validation Procedure
2014/03/14 07:08:17 kid1|   Validated 103 Entries
2014/03/14 07:08:17 kid1|   store_swap_size = 4728.00 KB
2014/03/14 07:08:18 kid1| storeLateRelease: released 0 objects

конфиг squid.conf

#
# Recommended minimum configuration:
#

# Example rule allowing access from your local networks.
# Adapt to list your (internal) IP networks from where browsing
# should be allowed
acl localnet src 10.0.0.0/8    # RFC1918 possible internal network
acl localnet src 172.16.0.0/12    # RFC1918 possible internal network
acl localnet src 192.168.0.0/16    # RFC1918 possible internal network
acl localnet src fc00::/7       # RFC 4193 local private network range
acl localnet src fe80::/10      # RFC 4291 link-local (directly plugged) machines

acl SSL_ports port 443
acl Safe_ports port 80        # http
acl Safe_ports port 21        # ftp
acl Safe_ports port 443        # https
acl Safe_ports port 70        # gopher
acl Safe_ports port 210        # wais
acl Safe_ports port 1025-65535    # unregistered ports
acl Safe_ports port 280        # http-mgmt
acl Safe_ports port 488        # gss-http
acl Safe_ports port 591        # filemaker
acl Safe_ports port 777        # multiling http
acl CONNECT method CONNECT

#
# Recommended minimum Access Permission configuration:
#
# Deny requests to certain unsafe ports
http_access deny !Safe_ports

# Deny CONNECT to other than secure SSL ports
http_access deny CONNECT !SSL_ports

# Only allow cachemgr access from localhost
http_access allow localhost manager
http_access deny manager

# We strongly recommend the following be uncommented to protect innocent
# web applications running on the proxy server who think the only
# one who can access services on "localhost" is a local user
#http_access deny to_localhost

#
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS
#

# Example rule allowing access from your local networks.
# Adapt localnet in the ACL section to list your (internal) IP networks
# from where browsing should be allowed
http_access allow localnet
http_access allow localhost
http_access allow SSL_ports

# And finally deny all other access to this proxy
http_access deny all

# Squid normally listens to port 3128
http_port 3128 intercept
https_port 3129 intercept ssl-bump generate-host-certificates=on dynamic_cert_mem_cache_size=4MB cert=/usr/local/squid/ssl/squid.pem key=/usr/local/squid/ssl/squid.key

# Uncomment and adjust the following to add a disk cache directory.
cache_dir ufs /usr/local/squid/var/cache/squid 3000 32 512

# Leave coredumps in the first cache dir
coredump_dir /usr/local/squid/var/cache/squid

#
# Add any of your own refresh_pattern entries above these.
#
refresh_pattern ^ftp:        1440    20%    10080
refresh_pattern ^gopher:    1440    0%    1440
refresh_pattern -i (/cgi-bin/|\?) 0    0%    0
refresh_pattern .        0    20%    4320

visible_hostname 10.0.10.61

sslproxy_flags DONT_VERIFY_PEER
sslproxy_cert_error allow all
always_direct allow all

ssl_bump client-first all
ssl_bump server-first all
ssl_bump none all
sslcrtd_program /usr/local/squid/libexec/ssl_crtd -s /var/lib/ssl_db -M 4MB
]]> https://linuxforum.ru/profile.php?id=33830 2014-03-14T12:11:57Z https://linuxforum.ru/viewtopic.php?pid=400245#p400245 <![CDATA[Re: Squid ssl-bump, прозрачный прокси с https (443)]]> smotritel89,
Конфиг squid можно ?

]]> https://linuxforum.ru/profile.php?id=20103 2014-03-14T11:06:23Z https://linuxforum.ru/viewtopic.php?pid=400204#p400204 <![CDATA[Re: Squid ssl-bump, прозрачный прокси с https (443)]]> Скомпилировал, установил. squid3 запускается.

tcp6       0      0 :::3128                 :::*                    LISTEN
23752/(squid)
tcp6       0      0 :::3129                 :::*                    LISTEN

на порту 3128 открываются сайты, а HTTPS не работает.

да и в логах при запуска SQUIDa, НЕТ СТРОКИ

 "Accepting SSL bumped HTTP Socket connections at local=[::]:3128 remote=[::] FD 21 flags=9"

такое ощущение что не работает данный режим.

В чем может быть проблема?

]]> https://linuxforum.ru/profile.php?id=33830 2014-03-14T09:03:57Z https://linuxforum.ru/viewtopic.php?pid=400155#p400155 <![CDATA[Re: Squid ssl-bump, прозрачный прокси с https (443)]]> AlfaStriker пишет:

Вопросы:
1.Можно ли теперь блокировать HTTPS  сайты?
2. Можно ли фильтровать контент HTTPS  сайтов?

Конечно можно, и нужно! Для этого и настраивали ssl-bump.

]]> https://linuxforum.ru/profile.php?id=174 2013-11-30T13:38:51Z https://linuxforum.ru/viewtopic.php?pid=379024#p379024