如何将 S3 上 1TB 的压缩文件下载到本地？
liupengpeng · 2023-08-24 11:03:42 +08:00 · 3182 次点击这是一个创建于 490 天前的主题，其中的信息可能已经有所发展或是发生改变。
我尝试了下，下载速度在 1MB/s ，这个速度下要好几天，还不能断点续传...
 |
1
qweruiop 2023-08-24 11:07:28 +08:00
你配置个 cloudfront ，然后多线程下，会快很多。
|
 |
2
richangfan 2023-08-24 11:15:10 +08:00
找个网盘中转
|
 |
3
Kinnice 2023-08-24 11:17:12 +08:00
换个好一点的梯子
|
 |
4
tmtstudio 2023-08-24 11:20:10 +08:00
用鹅厂的对象存储，文档里有 linux 的上传命令，上传到存储桶再下载
|
 |
5
lidongyx 2023-08-24 11:21:14 +08:00
可以用 aws 的 cli 工具，这个是支持并行下载的；也可以用 S3 Transfer Acceleration 的服务
|
|
6
lidongyx 2023-08-24 11:24:17 +08:00
一般的 FTP 工具也都有断点续传的功能吧，你肯定不能用 HTTP 这种方式来下载啊
|
 |
7
wph95 2023-08-24 11:38:15 +08:00
|
 |
8
Maboroshii 2023-08-24 11:39:10 +08:00 via Android
让他们拷出来快递给你。。。
|
 |
9
nuII 2023-08-24 12:23:20 +08:00
用 awscli 来下，配置 token 就行，和 scp 用法差不多，aws s3 cp s3://xxx ./
|
 |
10
vfs 2023-08-24 12:26:57 +08:00
s3 协议层面是支持断点续传的，而且也可以多线程下载。这种需求多吗？ 多的话，个人可以快速写一个:)
|
 |
11
qwerthhusn 2023-08-24 12:31:02 +08:00
用迅雷就行
先 presign 一个时间长一点的带签名的下载链接，然后交给迅雷就行了 |
 |
12
oxromantic 2023-08-24 14:03:49 +08:00
不差钱的话地址发出来，让大伙帮你迅雷加速 [Doge]
|
 |
13
dann73580 2023-08-24 14:56:39 +08:00
配个 rclone ，开个多线程拉就完事了……
|
 |
14
java253738191 2023-08-24 15:30:19 +08:00
|
 |
15
2MO 2023-08-25 00:27:57 +08:00
https://www.multcloud.com/cn/
之前我用的方案，用他们的服务转存到百度云，也试过开阿里的服务器按量使用挂载 webdav 转存到阿里云盘 |
 |
16
clouddd 2023-08-25 09:30:24 +08:00 via iPhone
我去年也有类似需求，需要将 eu-west-1 上的 1T 多数据库备份下载到本地，隔离酒店的网络慢到不行。最后是用了阿里云的欧洲节点先拉完 S3 ，再转到阿里云杭州节点，什么加速之类的全开满，最后再下载，一阵折腾最后花掉差不多人民币 7-800 ，耗时两三天🥹
|
 |
17
lff0305 2023-08-25 10:44:50 +08:00
开个 EC2 ，mount S3 到 EC2 的文件， 然后办法就多了
|
Select Language