介绍
这篇文章主要讲解了linux下快速拷贝大文件的方法,内容清晰明了,对此有兴趣的小伙伴可以学习一下,相信大家阅读完之后会有帮助。
<强>拷贝数据
远程拷贝数据的时候,我们一般使用rsync命令,但是如果拷贝大量的小文件,会导致rsync的传输速度慢。使用焦油pv lz4打包压缩传输,可以解决这问题,使用这个方法,等同于使用scp, rsync传输大文件。
实测,使用rsync传输1200克,单个文件大小为几十KB ~ 2 gb,千兆网卡,需要同时跑6个rsync才能把带宽跑满,每个速度20 mb左右,速度波动大。每分钟可以拷贝4.5 gb左右。
但是,使用焦油pv lz4,跑一个就可以了,而且速度波动小。每分钟可以拷贝6.8 gb左右。
<强> rsync使用例子
rsync安装:yum安装- y rsync
#推送 (root@vm5 ~) # rsync -auvzP - e“ssh -p22"mssh.tar。广州root@192.168.176.11://数据 发送增量文件列表 mssh.tar.gz 1977 100% 0.00 kb/s 0:00:00 (xfr # 1, to-chk=0/1) 发送2069字节接收35字节4208字节/秒 总大小是1977加速是0.94 #拉取 # rm - f mssh.tar.gz root@vm5 ~ (root@vm5 ~) # rsync -auvzP - e“ssh -p22"root@192.168.176.11://mssh.tar数据。广州。 接收增量文件列表 mssh.tar.gz 1977年100% 1.89 mb/s 0:00:00 (xfr # 1, to-chk=0/1) 发送43个字节接收2069字节4224字节/秒 总大小是1977加速为0.94
参数auvzP解释:参数一个是归档传输,保留文件属性,你是更新传输、源文件修改时间较新,则传输.v是显示详细过程,z是压缩传输,p是断点传输。
注意:rsync传输文件夹时候,文件夹/带/则是传输目录下的文件,不带/是把文件夹也传输过去。
<强>使用压缩传输
安装pv, lz4工具
注意:服务器两端都要安装。
光伏在百胜源里面没有,可以到pv官网找
#去pv官网,搞到个rpm包链接,直接rpm命令安装 (root@vm5 ~) # rpm -ivh http://www.ivarch.com/programs/rpms/pv 1.6.6 x86_64.rpm——1. 获取http://www.ivarch.com/programs/rpms/pv 1.6.6 x86_64.rpm——1. 警告:/var/tmp/rpm-tmp。mFbA6u:头V3 DSA/SHA1签名,密钥ID 3 fc56f51: NOKEY 准备中……################################# [ 100%) 正在升级/安装…… 1:pv-1.6.6-1 # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # (100%) # lz4可以直接百胜安装 (root@vm5 ~) # yum安装- y lz4
使用
看完上述内容,是不是对linux下快速拷贝大文件的方法有进一步的了解,如果还想学习更多内容,欢迎关注行业资讯频道。
linux下快速拷贝大文件的方法
