优化方案思路:通过焦油把大文件切分成多100个大小的文件,然后通过多进程上传。
脚本如下: #?bin/bash
# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #
#作者:张Jianjun
#创建数据:2017-03-22
#提出:对于大文件上传
#修改数据:
# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #
#使用焦油切分大文件成多个100的小文件
焦油-czf——ftp_test。dmp | 100 - b - d - ftp_test.tar.gz 分裂,
#计算切分成了多少个小文件
ftp_test.tar fc=' ls - l | grep”。广州*”| wc - l '
echo $ fc
#使用的循环
((=0;a<美元俱乐部;+ +))
做
如果(" $ " lt 10);然后
我=0 " $ "
else
我=" $ "
fi
#查看ftp进程数量,当小于5个ftp进程的时候继续在启用一个ftp进程
fpc=' p ef | grep“ftp - v - n 192.168.1.100”| wc - l '
而“$ fpc”gt 5]
做
,,,,睡5
,,,,fpc=' p ef | grep“ftp - v - n 192.168.1.100”| wc - l '
,,,,echo $ fpc
做
,,,,echo $ i,,,,,
# FTP部分,
回声用户ftp_test ftp_test祝辞ftp " $我”。txt
回声二进制祝辞祝辞ftp " $我”。txt
回声散列在祝辞ftp " $我”。txt
回声提示在祝辞ftp " $我”。txt
回声cd, result_bj祝辞祝辞ftp " $我”。txt
回声被动的在祝辞ftp " $我”。txt
回声把ftp_test.tar。广州“我”美元在祝辞ftp " $我”。txt
回声再见祝辞祝辞ftp " $我”。txt
回声expdp开始上传文件。
睡眠2
#后台执行FTP
ftp - v - n 192.168.1.100, & lt;ftp " $我”。txt和
rm射频ftp " $我”。txt
做
