1 Тема от vinner

  • vinner
  • Новичок
  • Неактивен
  • Зарегистрирован: 18.12.2011
  • Сообщений: 71
  • Репутация : [ 0 | 0 ]

Добрый день. Есть файл 13 Гб. Нужно его передавать по нестабильному каналу. Разово мне удалось разбить на части и передать с помощью rsync -av. Теперь нужно настроить еженедельное копирование. Может быть есть какой-то способ передавать такой большой файл с возможность докачки в случае обрыва? при этом ftp использовать нельзя.

2 Ответ от i2ks (06.09.2012 14:17:32 отредактировано i2ks)

  • i2ks
  • Участник Форума
  • Неактивен
  • Зарегистрирован: 20.02.2010
  • Сообщений: 6,983
  • Репутация : [ 101 | 1 ]

http://troy.jdmz.net/rsync/index.html
или если влом читать:
rsync -avz -e ssh remoteuser@remotehost:/remote/dir /this/dir/

It is good day to die ...
MS Windows 10
Заметки о главном...

3 Ответ от xxblx (06.09.2012 15:17:39 отредактировано xxblx)

  • xxblx
  • xxblx
  • Пользователь
  • Неактивен
  • Зарегистрирован: 14.05.2011
  • Сообщений: 3,437
  • Репутация : [ 147 | 1 ]
vinner пишет:

при этом ftp использовать нельзя.

а SFTP ?
да и просто по ssh2 можно же, возьмите программу gFTP, например, он с обычным SSH2 работает прекрасно, докачку в функционале программы присутствует. только что все же GUI, настроить его для автоматизма раз в неделю по сему проблемно.

Fedora GNOME3

4 Ответ от vinner

  • vinner
  • Новичок
  • Неактивен
  • Зарегистрирован: 18.12.2011
  • Сообщений: 71
  • Репутация : [ 0 | 0 ]
i2ks пишет:

http://troy.jdmz.net/rsync/index.html
или если влом читать:
rsync -avz -e ssh remoteuser@remotehost:/remote/dir /this/dir/

пробовал  с этими же параметрами, через 6-7 часов закачки вываливается ошибка и все потеряно.

5 Ответ от Lupo Alberto

  • Откуда: Беларусь, Гомель
  • Зарегистрирован: 04.07.2010
  • Сообщений: 11,183
  • Репутация : [ 571 | 8 ]

man curl
...
DESCRIPTION
       curl  is  a  tool to transfer data from or to a server, using one of the supported protocols (DICT, FILE, FTP, FTPS, GOPHER, HTTP,
       HTTPS, IMAP, IMAPS, LDAP, LDAPS, POP3, POP3S, RTMP, RTSP, SCP, SFTP, SMTP, SMTPS, TELNET and TFTP).  The command  is  designed  to
       work without user interaction.
...
-a, --append
              (FTP/SFTP)  When used in an upload, this will tell curl to append to the target file instead of overwriting it. If the file
              doesn't exist, it will be created.
...

Был, был и весь вышел...

6 Ответ от vinner

  • vinner
  • Новичок
  • Неактивен
  • Зарегистрирован: 18.12.2011
  • Сообщений: 71
  • Репутация : [ 0 | 0 ]
xxblx пишет:
vinner пишет:

при этом ftp использовать нельзя.

а SFTP ?
да и просто по ssh2 можно же, возьмите программу gFTP, например, он с обычным SSH2 работает прекрасно, докачку в функционале программы присутствует. только что все же GUI, настроить его для автоматизма раз в неделю по сему проблемно.

Сегодня запущу, попробую. Спасибо за наводку

7 Ответ от Fat-Zer (06.09.2012 21:09:52 отредактировано Fat-Zer)

  • Fat-Zer
  • Пользователь
  • Неактивен
  • Откуда: Москва
  • Зарегистрирован: 14.10.2010
  • Сообщений: 4,977
  • Репутация : [ 256 | 6 ]

когда сам был в подобной ситуации я делал велосипед-скрипт: с помощью dd вычленял кусок ~200K и передавал его через обычную трубу поверх ssh...
for (( i=0; i<100500; i++ )); do ssh dd if=/path/to/file bs=200k skip=$i >/out/file.part-$i || break; done
в случае ошибки - перезапуск вручную. можно всё это ещё облагородить итп итд...
потом просто cat'ом собирал всё это вместе...

вот такой вот велосипед... bx

95% процентов проблем находятся между клавиатурой и стулом.
- drBatty

8 Ответ от vinner

  • vinner
  • Новичок
  • Неактивен
  • Зарегистрирован: 18.12.2011
  • Сообщений: 71
  • Репутация : [ 0 | 0 ]
vinner пишет:
xxblx пишет:
vinner пишет:

при этом ftp использовать нельзя.

а SFTP ?
да и просто по ssh2 можно же, возьмите программу gFTP, например, он с обычным SSH2 работает прекрасно, докачку в функционале программы присутствует. только что все же GUI, настроить его для автоматизма раз в неделю по сему проблемно.

Сегодня запущу, попробую. Спасибо за наводку

Вопрос остается открытым, sftp проработал около 3 дней и вылетел со следующей ошибкой.
sftp -v root@ip:/backups/filename
rite failed: Broken pipe
Connection closed

9 Ответ от vinner

  • vinner
  • Новичок
  • Неактивен
  • Зарегистрирован: 18.12.2011
  • Сообщений: 71
  • Репутация : [ 0 | 0 ]
Lupo Alberto пишет:

man curl
...
DESCRIPTION
       curl  is  a  tool to transfer data from or to a server, using one of the supported protocols (DICT, FILE, FTP, FTPS, GOPHER, HTTP,
       HTTPS, IMAP, IMAPS, LDAP, LDAPS, POP3, POP3S, RTMP, RTSP, SCP, SFTP, SMTP, SMTPS, TELNET and TFTP).  The command  is  designed  to
       work without user interaction.
...
-a, --append
              (FTP/SFTP)  When used in an upload, this will tell curl to append to the target file instead of overwriting it. If the file
              doesn't exist, it will be created.
...

Сегодня попробую curl.

10 Ответ от i2ks

  • i2ks
  • Участник Форума
  • Неактивен
  • Зарегистрирован: 20.02.2010
  • Сообщений: 6,983
  • Репутация : [ 101 | 1 ]

А если предварительно порезать файл сплитом, а потом кетом его склеить, т.е. режим 13gb на 10 частей или чуть больше, дальше рсинком копируем, потом уже склеиваем.
Вариант с курлом тоже прокатит. :-)

It is good day to die ...
MS Windows 10
Заметки о главном...

11 Ответ от drBatty

  • drBatty
  • drBatty
  • Пользователь
  • Неактивен
  • Откуда: Петербург
  • Зарегистрирован: 20.02.2010
  • Сообщений: 17,053
  • Репутация : [ 451 | 73 ]
i2ks пишет:

А если

http://forum.drbatty.ru/viewtopic.php?f=77&t=4723
не?

Карусель разнесло по цепочке за час
Всех известий — конец
Да, весна началась!
(всё к лицу подлецу, как родному отцу, не рассказывай, батя, и так всё пройдёт)