jolly336 最近的时间轴更新 jolly336 最近的时间轴更新 |
jolly336V2EX 第 602088 号会员，加入于 2022-11-17 11:20:27 +08:00 |
| Rsync 传输大文件性能问题 问与答 • jolly336 • 163 天前 • 最后回复来自 jolly336 | 17 |
jolly336 最近回复了
151 天前 回复了 clifftts 创建的主题 › 程序员 › 一个老程序员的胡言乱语 |
+1 ，转身的功夫，之前保留的网址和资料好多也都失效了，还是多看看底层一些东西，都是想通的，时间长了会有不一样的感悟
163 天前 回复了 jolly336 创建的主题 › 问与答 › Rsync 传输大文件性能问题 |
感谢各位大佬的解答，目前看来各种工具还是只有 Rsync 能满足增量拉取，只是性能有点问题，在增量拉取单个大文件时 sender 端要挨个数据块计算 checksum ，这期间网络是空闲的，到传输变动字节数据时网速还是可以的，所以耗时就在 rsync 只会单核 CPU 工作，checksum 拉长了耗时。
目前准备切片并行传的试下，但这种会出现资源竞争，整体耗时有时候会劣化。不知道还有啥好思路优化？
目前准备切片并行传的试下，但这种会出现资源竞争，整体耗时有时候会劣化。不知道还有啥好思路优化？
165 天前 回复了 jolly336 创建的主题 › 问与答 › Rsync 传输大文件性能问题 |
@yingxiangyu 这个很原始，没法做到增量 diff 拉取呐
165 天前 回复了 jolly336 创建的主题 › 问与答 › Rsync 传输大文件性能问题 |
@adrianzhang 测试了下，Mac 网速不好时 40Mb/s ，瓶颈在网速 IO 这，网速比较高 1000Mb/s 时，瓶颈在服务器磁盘 IO 上
165 天前 回复了 jolly336 创建的主题 › 问与答 › Rsync 传输大文件性能问题 |
@dann73580 server 是部署的 K8S 这套，也能用吗？这个支持增量传吗？还有在本地 Mac 网速有限的情况下，能最快拉回文件
165 天前 回复了 jolly336 创建的主题 › 问与答 › Rsync 传输大文件性能问题 |
@T0m008 scp 没有增量传输了，全部传，Mac 网速一般，这个没法改变，还得要增量拉
165 天前 回复了 jolly336 创建的主题 › 问与答 › Rsync 传输大文件性能问题 |
@ferock -W, --whole-file copy files whole (without rsync algorithm) 就真成了 scp 了，会 disable 增量传输，文件太大了，是不行的
Select Language