万兆网络数据传输-scp加速

本文主要是介绍万兆网络数据传输-scp加速，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

在万兆甚至更高的网络带宽场景下 scp 的传输效率并不如人意。毕竟 scp 是旧时代的产物，那时千兆网络都很罕见。以下通过修改压缩方式的方法提升数据的传输速度。同时也采用 nc ， bbcp 和 rsync 进行了对比测试。

创建 10GB测试数据。

[root@c3-60 data]# dd if=/dev/zero of=test.img bs=1024k count=10000
10000+0 records in
10000+0 records out

我的测试环境是千兆网络。

scp

采用默认方式

[root@c3-60 data]# scp test.img root@c3-61:/dev/null
test.img                                100%   10GB  62.6MB/s   02:39

更改压缩算法为 aes192

[root@c3-60 data]# scp -c aes192-cbc test.img root@c3-61:/dev/null
test.img                                100%   10GB 111.3MB/s   01:29 

很明显，传输速度提升了50%。

[参考]
https://www.orczhou.com/index.php/2013/11/make-scp-faster-with-cipher-and-compression/

nc

nc 是一个常用的网络工具，它的全名是 Netcat。nc 可以在网络中传输数据，也可以用于监听端口、创建服务器、进行端口扫描等。

接收端打开端口

nc -l 6666 >/dev/null

发生端发送文件

nc c3-61 6666 < test.img 

以下是不通传输方法的结果对比

bbcp

bbcp 是一种用于高性能、并行文件传输的工具。它的全名是 “BBCP - Bulk Data Copy Program”。bbcp 被设计用于在大规模计算环境中快速、可靠地传输大量数据。
下载地址：https://www.slac.stanford.edu/~abh/bbcp/bin/

传输数据

bbcp -f  test.img root@c3-61:/dev/null

传输文件夹

 bbcp -f -r -s 16 taos/data root@c3-61:/data/bak

参数简介：
-f 删除目标端同名文件
-r 文件递归复制
-s 并行线程数（默认4）

注意：
与 nc相同，bbcp 也必须在接收端和发送端同时存在（接收端无需主动运行）。

结论

1. 修改压缩算法能够提升 scp 的数据传输速度。
2. nc 传输的速度较 scp 更快，但 nc 也有很大缺点，需要服务端和客户端进行配合，而且不能传输文件夹【可通过 tar 间接实现】。
3. bbcp 传输速度接近甚至超过 nc，同时支持传输文件和文件夹【强烈推荐】。

这篇关于万兆网络数据传输-scp加速的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---