Добрый день.

Такая беда

PHP код:
Jul 16 13:22:02 [8035:1libmgr ERROR ErrorType'scp failed'
Jul 16 13:22:02 [8035:1libmgr TRACE Evaluate path '/*/error/msg'
Jul 16 13:22:02 [8035:1main WARNING Cant upload2018-07-16.h32429.infoWhatType'scp failed'Attempt2 of 3
Jul 16 13
:22:02 [8035:1main EXTINFO Wait 60 seconds before next attempt
Jul 16 13
:23:02 [8035:1proc TRACE Run m_flags 0
Jul 16 13
:23:02 [8035:1proc EXTINFO Run 'scp -q -o StrictHostKeyChecking=no -i tmp/tmpfile.mhFCiU -P 22 /usr/local/mgr5/var/backup/ispmgr/h32429/2018-07-16/2018-07-16.h32429.info server5@backup.local:/home/server5/u32429/2018-07-16/2018-07-16.h32429.info' pid 2319
Jul 16 13
:23:03 [8035:1proc EXTINFO Process 2319 finished with status 1
Jul 16 13
:23:03 [8035:1backtrace EXTINFO backup2::SftpStorage::Scp(std::string const&, std::string const&) (lib/libbackup2.so 0x441) [*0x7f4a3323a025]
Jul 16 13:23:03 [8035:1backtrace EXTINFO backup2::SftpStorage::Put(std::string const&, std::string const&) (lib/libbackup2.so 0xb5) [*0x7f4a3347eeac]
Jul 16 13:23:03 [8035:1backtrace EXTINFO Upload::Put() (libexec/backup2_cp.so 0x13c) [*0x7f4a33481b6a]
Jul 16 13:23:03 [8035:1backtrace EXTINFO NodeSide::operator()(ResHandle) (libexec/backup2_cp.so 0x5ea) [*0x7f4a33486021]
Jul 16 13:23:03 [8035:1backtrace EXTINFO backup2::Expect::Worker<NodeSide>::Do(ResHandle) (libexec/backup2_cp.so 0x51) [*0x7f4a3324b1a4]
Jul 16 13:23:03 [8035:1backtrace EXTINFO backup2::Expect::Run(int) (lib/libbackup2.so 0x1c4) [*0x7f4a334810b8]
Jul 16 13:23:03 [8035:1backtrace EXTINFO CommandClient() (libexec/backup2_cp.so 0x368) [*0x7f4a3347ba35]
Jul 16 13:23:03 [8035:1backtrace EXTINFO ??? (libexec/backup2_cp.so 0x15a5) [*0x401409]
Jul 16 13:23:03 [8035:1backtrace EXTINFO ??? (/usr/local/mgr5/sbin/backup2_cp 0x0) [*0x7f4a336c3445]
Jul 16 13:23:03 [8035:1backtrace EXTINFO ??? (/lib64/libc.so.6 0xf5) [*0x4016a7]
Jul 16 13:23:03 [8035:1backtrace EXTINFO ??? (/usr/local/mgr5/sbin/backup2_cp 0x0) [*(nil)]
Jul 16 13:23:03 [8035:1libmgr ERROR ErrorType'scp failed'
Jul 16 13:23:03 [8035:1libmgr TRACE Evaluate path '/*/error/msg'
Jul 16 13:23:03 [8035:1main WARNING Cant upload2018-07-16.h32429.infoWhatType'scp failed'Attempt3 of 3
Jul 16 13
:23:03 [8035:1main TRACE DoCommand command RELEASE 220

Jul 16 13
:23:03 [8035:1main TRACE static std::string NodeSide::GetResult()
Jul 16 13:23:03 [8034:1main TRACE backup2::Expect::ResultMasterSide::Read(ResHandle)
Jul 16 13:23:03 [8034:1main DEBUG backup2_cp2_server.cpp:399 m_read 'RELEASE 220
'
Jul 16 13:23:03 [8034:1main TRACE ProcessCommand line 'RELEASE 220'
Jul 16 13:23:03 [8034:1main TRACE SaveResult result 'OK'
Jul 16 13:23:03 [8034:1backup TRACE SetEvents fd 5events 4
Jul 16 13
:23:03 [8034:1main DEBUG backup2_cp2_server.cpp:406 m_read ''
Jul 16 13:23:03 [8034:1main TRACE backup2::Expect::ResultMasterSide::Write(ResHandle)
Jul 16 13:23:03 [8034:1backup DEBUG backup2_proc.cpp:116 Fd 5got suspend result
Jul 16 13
:23:03 [8035:1main ERROR Failed upload
Jul 16 13
:23:03 [2344:1libmgr DEBUG mgrargs.cpp:229 Lookup long param '--delete'
Jul 16 13:23:03 [2344:1main INFO Delete /usr/local/mgr5/var/backup/ispmgr/u32429/2018-07-16/2018-07-16.h32429.info.0T7cgs
Jul 16 13
:23:03 [2344:1backup TRACE GetInfo info_file '/usr/local/mgr5/var/backup/ispmgr/u32429/2018-07-16/2018-07-16.h32429.info.0T7cgs'
Jul 16 13:23:03 [2344:1backup TRACE GetInfo info_file '/usr/local/mgr5/var/backup/ispmgr/u32429/2018-07-16/2018-07-16.h32429.info.0T7cgs'
Jul 16 13:23:03 [2344:1proc TRACE Run m_flags 0
Jul 16 13
:23:03 [2344:1proc EXTINFO Run 'ssh -q -o StrictHostKeyChecking=no -i tmp/tmpfile.pl1FFb -p 22 server5@backup.ext rm\ -rf\ /home/server5/h32429/2018-07-16' pid 2345
Jul 16 13
:23:03 [2344:1proc EXTINFO Process 2345 finished with status 0
Jul 16 13
:23:03 [2344:1proc TRACE Run m_flags 0
Jul 16 13
:23:03 [2344:1proc EXTINFO Run 'ssh -q -o StrictHostKeyChecking=no -i tmp/tmpfile.pl1FFb -p 22 server5@backup.ext rmdir\ /home/server5/h32429' pid 2349
Jul 16 13
:23:03 [2344:1proc EXTINFO Process 2349 finished with status 1
Jul 16 13
:23:03 [2354:1libmgr DEBUG mgrargs.cpp:229 Lookup long param '--server'
Jul 16 13:23:03 [2354:1libmgr DEBUG mgrargs.cpp:229 Lookup long param '--size-limit'
Jul 16 13:23:03 [2354:1libmgr EXTINFO Command line argument 'size-limit' add value '322122547200'
Jul 16 13:23:03 [2354:1libmgr DEBUG mgrargs.cpp:229 Lookup long param '--count-limit'
Jul 16 13:23:03 [2354:1libmgr EXTINFO Command line argument 'count-limit' add value '3:3'
Jul 16 13:23:03 [2354:1libmgr DEBUG mgrargs.cpp:229 Lookup long param '--path'
Jul 16 13:23:03 [2354:1libmgr EXTINFO Command line argument 'path' add value 'var/backup/ispmgr'
Jul 16 13:23:03 [2354:1main TRACE ResHandle SizeControlServerStart(mgr_args::ResultPtrResHandle&&)
Jul 16 13:23:03 [2354:1main WARNING Other instanse of size control server is runningDate2018-07-16
Jul 16 13
:23:04 [8034:1main TRACE DropByCount count_to_leave_full 3count_to_leave_daily 3
Jul 16 13
:23:04 [8035:1backup DEBUG backup2_proc.cpp:119 Fd 0got finish result
Jul 16 13
:23:04 [8034:1proc EXTINFO Process 8035 finished with status 0
Jul 16 13
:23:04 [8034:1main TRACE void CleanUp(const string&)
Jul 16 13:23:04 [8034:1proc TRACE Run m_flags 2
Jul 16 13
:23:04 [8034:1proc DEBUG mgrproc_unix.cpp:290 Create output pipe
Jul 16 13
:23:04 [8034:1proc EXTINFO Run 'ssh -q -o StrictHostKeyChecking=no -i tmp/tmpfile.1QSgCS -p 22 server5@backup.ext ls\ /home/server5' pid 2356
Jul 16 13
:23:04 [8034:1proc EXTINFO Process 2356 finished with status 0
Jul 16 13
:23:04 [8034:1proc TRACE Run m_flags 2
Jul 16 13
:23:04 [8034:1proc DEBUG mgrproc_unix.cpp:290 Create output pipe
Jul 16 13
:23:04 [8034:1proc EXTINFO Run 'ssh -q -o StrictHostKeyChecking=no -i tmp/tmpfile.9HXdJH -p 22 server5@backup.ext ls\ /home/server5' pid 2357
Jul 16 13
:23:04 [8034:1proc EXTINFO Process 2357 finished with status 0
Jul 16 13
:23:04 [8034:1proc TRACE Run m_flags 
ISP manager 5 Lite - место есть с запасом для tmp бэкапов
Сервер бэкапа - места более чем с запасом. Непосредственно под ISP manager 5 Lite выделено 300 Гб, занято 190 (пробовал снимать лимит на неделю, не влияет)
для теста загружал и выгружал аккаунты с другой панели (там еще мало аккаунтов), всё норм, скорость не проседает.

Подскажите плз что может быть основанием для scp failed, сервера в одном ДЦ, линки все 1Гбит, место есть на обоих сервера, LA выше нормы не подымается, сервера не перезагружаются (только апач может релоадится, но он же надеюсь никак не связан с бэкапами)

вобщем одна беда печаль
ранее, когда аккаунтов было не много, если с 50 шт там 5-10 пропустится, то сделаются завтра, еще терпимо было
сейчас аккаунтов заметно больше, и не копируется 90% аккаунтов, а 10% как то выполняются, но ни как не пойму с чем связано

// пс. альтернативное копирование непосредственно фс работает стабильно, так же снапшоты zfs, всё норм, не пропадем. Но хотелось бы чтобы сами пользователи в своих аккаунтах тоже видели красивую картину своих бэкапов.