如何高效地复制文件

分享于 

1分钟阅读

互联网

  繁體

问题:

我想跨WAN复制10Tb数据(大量的小文件),还想对基础设施的影响最小。

DRBD镜像两端都需要额外的硬件,这么做太贵了,有一次我还被DRBD复制失败给坑苦了。

glusterfs会更高效?有没有更好的解决方案?


答案1:

在rsync中,可以使用ionice作为限制网络io负载限制和bwlimit参数。


答案2:

你可以使用lsyncd在系统之间保持文件同步,lsyncd在已同步的目录上安装inotify监视。每当文件在目录中更改时,它使用rsync将更改传输到远程服务器。


答案3

如果你愿意尝试一些新的东西,那么IPFS可能是一个很好的工具,

https://ipfs.io/

根据文件复制的需要,使用专用IPFS群集可能会给您带来很好的效果。

https://cluster.ipfs.io/

但是请记住,这是很新的东西,但是很快就会成熟。



rep  repl  存储  
相关文章