Linux Forum — Передача файла большого объема по ssh

Re: Передача файла большого объема по ssh

null@example.com (drBatty) — Tue, 11 Sep 2012 01:14:42 +0000

i2ks пишет:

А если

http://forum.drbatty.ru/viewtopic.php?f=77&t=4723
не?

Re: Передача файла большого объема по ssh

null@example.com (i2ks) — Mon, 10 Sep 2012 13:26:37 +0000

А если предварительно порезать файл сплитом, а потом кетом его склеить, т.е. режим 13gb на 10 частей или чуть больше, дальше рсинком копируем, потом уже склеиваем.
Вариант с курлом тоже прокатит. :-)

Re: Передача файла большого объема по ssh

null@example.com (vinner) — Mon, 10 Sep 2012 13:08:13 +0000

Lupo Alberto пишет:

man curl
...
DESCRIPTION
curl is a tool to transfer data from or to a server, using one of the supported protocols (DICT, FILE, FTP, FTPS, GOPHER, HTTP,
HTTPS, IMAP, IMAPS, LDAP, LDAPS, POP3, POP3S, RTMP, RTSP, SCP, SFTP, SMTP, SMTPS, TELNET and TFTP). The command is designed to
work without user interaction.
...
-a, --append
(FTP/SFTP) When used in an upload, this will tell curl to append to the target file instead of overwriting it. If the file
doesn't exist, it will be created.
...

Сегодня попробую curl.

Re: Передача файла большого объема по ssh

null@example.com (vinner) — Mon, 10 Sep 2012 13:06:51 +0000

vinner пишет:

xxblx пишет:
vinner пишет:
при этом ftp использовать нельзя.
а SFTP ?
да и просто по ssh2 можно же, возьмите программу gFTP, например, он с обычным SSH2 работает прекрасно, докачку в функционале программы присутствует. только что все же GUI, настроить его для автоматизма раз в неделю по сему проблемно.
Сегодня запущу, попробую. Спасибо за наводку

Вопрос остается открытым, sftp проработал около 3 дней и вылетел со следующей ошибкой.
sftp -v root@ip:/backups/filename
rite failed: Broken pipe
Connection closed

Re: Передача файла большого объема по ssh

null@example.com (Fat-Zer) — Thu, 06 Sep 2012 17:08:52 +0000

когда сам был в подобной ситуации я делал велосипед-скрипт: с помощью dd вычленял кусок ~200K и передавал его через обычную трубу поверх ssh...
for (( i=0; i<100500; i++ )); do ssh dd if=/path/to/file bs=200k skip=$i >/out/file.part-$i || break; done
в случае ошибки - перезапуск вручную. можно всё это ещё облагородить итп итд...
потом просто cat'ом собирал всё это вместе...

вот такой вот велосипед...

Re: Передача файла большого объема по ssh

null@example.com (vinner) — Thu, 06 Sep 2012 12:13:05 +0000

xxblx пишет:

vinner пишет:
при этом ftp использовать нельзя.
а SFTP ?
да и просто по ssh2 можно же, возьмите программу gFTP, например, он с обычным SSH2 работает прекрасно, докачку в функционале программы присутствует. только что все же GUI, настроить его для автоматизма раз в неделю по сему проблемно.

Сегодня запущу, попробую. Спасибо за наводку

Re: Передача файла большого объема по ssh

null@example.com (Lupo Alberto) — Thu, 06 Sep 2012 12:12:05 +0000

man curl
...
DESCRIPTION
curl is a tool to transfer data from or to a server, using one of the supported protocols (DICT, FILE, FTP, FTPS, GOPHER, HTTP,
HTTPS, IMAP, IMAPS, LDAP, LDAPS, POP3, POP3S, RTMP, RTSP, SCP, SFTP, SMTP, SMTPS, TELNET and TFTP). The command is designed to
work without user interaction.
...
-a, --append
(FTP/SFTP) When used in an upload, this will tell curl to append to the target file instead of overwriting it. If the file
doesn't exist, it will be created.
...

Re: Передача файла большого объема по ssh

null@example.com (vinner) — Thu, 06 Sep 2012 11:35:24 +0000

i2ks пишет:

http://troy.jdmz.net/rsync/index.html
или если влом читать:
rsync -avz -e ssh remoteuser@remotehost:/remote/dir /this/dir/

пробовал с этими же параметрами, через 6-7 часов закачки вываливается ошибка и все потеряно.

Re: Передача файла большого объема по ssh

null@example.com (xxblx) — Thu, 06 Sep 2012 11:16:35 +0000

vinner пишет:

при этом ftp использовать нельзя.

а SFTP ?
да и просто по ssh2 можно же, возьмите программу gFTP, например, он с обычным SSH2 работает прекрасно, докачку в функционале программы присутствует. только что все же GUI, настроить его для автоматизма раз в неделю по сему проблемно.

Re: Передача файла большого объема по ssh

null@example.com (i2ks) — Thu, 06 Sep 2012 10:16:27 +0000

http://troy.jdmz.net/rsync/index.html
или если влом читать:
rsync -avz -e ssh remoteuser@remotehost:/remote/dir /this/dir/

Передача файла большого объема по ssh

null@example.com (vinner) — Thu, 06 Sep 2012 10:13:00 +0000

Добрый день. Есть файл 13 Гб. Нужно его передавать по нестабильному каналу. Разово мне удалось разбить на части и передать с помощью rsync -av. Теперь нужно настроить еженедельное копирование. Может быть есть какой-то способ передавать такой большой файл с возможность докачки в случае обрыва? при этом ftp использовать нельзя.