使用许多文件复制大型远程文件夹的最佳策略,比简单的bold scp快

分享于 

3分钟阅读

电脑

  繁體 雙語

问题:

在年,我刚刚完成了一份从谷歌云的基本文件夹( 80gb 个小图片集) 复制到 scp,这是一个很大的时间。

我正在寻找处理这种情况的最佳方法。 我读到rsync可能会更快,我不确定当你在计算机上没有文件夹的时候,它是否更改了。

我还看到改变cypher选项可以提高速度,但是它有争议。

我想也许发送一个大文件比发送很多小文件要快。 所以发送一份档案会更快。 另外一个归档文件被压缩,因这里更加轻松和快速发送,但解压缩也会花费很多时间。 压缩只是一个时间问题,所以我不考虑它。

那么,复制大型大文件夹的最佳策略是什么?

谢谢你。

收费收费:回应评论,不需要加密,我的互联网连接是光纤,我不知道准确的速度,但是速度快。

这个文件夹中主要包含 pdf ( ~500kb ) 和png的图片 triplets png kb kb kb kb folder folder folder folder folder folder folder folder future,但我将把它与未来的图片分开。 是一个人离开的工作我刚刚拿回来的。 我也暂时在公司,我将组织这个,以方便下一个人的工作。


回答 1:

Sftp和scp在速度上受到限制,部分原因是加密。 如果不是很必要,你可以设置ftp服务器。

但是,你使用的是Google云,所以我想你想使用 gsutil cp 命令。

你可以在这里找到更多信息。

基本上它通过为云上所有可以访问的东西分配一个 url,就像它是本地的一样。 假设有一个名为 example的bucket,你将使用以下命令将它的复制到本地文件夹 target_folder

gsutil cp - r gs://example target_folder

如果有多个较小的文件要并行上传,你可以在gsutil之后添加 -m !

如果这是你第一次使用gcloud命令,首先运行: gcloud init 以便授权并选择存储桶所在的正确项目。


回答 2:

如果你复制了许多小文件,RSYNC将只复制已经更改的那些文件,如果时间很大,则保存大量。 如果在决定如何检测/处理变更和删除的文件方面灵活,Rsync。 ( 也很简单,你可以启用压缩,但是当源文档看起来相当压缩时有限)。


回答 3:

在我的眼睛中,最好的策略是将( 没有任何压缩只是存储它- 解压会很快) 通过 比如 - ( 添加 -rr 以添加恢复部分) 包装到文件 4GB 中。

接下来你可以能想要启动多个传输,如果有足够快的线路可以加速事件。

最后要考虑的是去掉加密,如果你不需要它。 使用简单 ftp



文件  str  files  fast  FOLD  cop  
相关文章