有哪些工具可以比较可靠地把一个本地目录里的所有内容镜像到一个 S3 Bucket？
Livid · 2018-10-23 09:12:35 +08:00 · 6667 次点击这是一个创建于 2221 天前的主题，其中的信息可能已经有所发展或是发生改变。
 |
1
sNullp 2018-10-23 09:13:45 +08:00
楼主是要一次性上传还是要支持增量更新？
|
 |
2
isCyan 2018-10-23 09:14:32 +08:00 via Android
|
 |
3
plqws 2018-10-23 09:15:04 +08:00
用 s3 sdk 写个这种功能的同步工具应该不难
|
 |
4
svenFeng 2018-10-23 09:15:19 +08:00 via Android
S3-fuse
|
 |
6
fireapp 2018-10-23 09:26:35 +08:00 via iPhone  1
s3fs，把 s3 bucket 挂载成本地磁盘，然后 mv
|
 |
8
caizixian 2018-10-23 09:31:22 +08:00 1
`aws s3 sync`?
|
 |
9
Xrong 2018-10-23 09:32:56 +08:00
https://aws.amazon.com/cli/ 用官方的 cli 就行了
|
 |
10
mangoDB 2018-10-23 09:33:53 +08:00
官网应该有对应的 s3fs 吧，我猜测的。
|
 |
11
imnpc 2018-10-23 09:35:51 +08:00
@Livid 挂载以后可以 rsync 但是读写次数会很高 以前挂载阿里云的 OSS 一晚上就同步备份网站和数据库就几十万次读写
|
 |
13
Vieufoux 2018-10-23 09:38:47 +08:00
用 aws s3 cp 命令
https://docs.aws.amazon.com/cli/latest/reference/s3/ |
 |
14
kslr 2018-10-23 09:50:40 +08:00 via Android
Rclone
|
|
15
kslr 2018-10-23 09:51:48 +08:00 via Android
我每天都要同步几百 g 的数据
|
 |
16
ayang23 2018-10-23 09:51:56 +08:00
|
 |
17
orzjerry 2018-10-23 09:58:20 +08:00
s3fs 可以 mount 到本地当作本地磁盘，rsync 也是可以的但是磁盘性能真的是不好。
|
 |
18
lynnX 2018-10-23 10:02:14 +08:00
GoodSync 一直在用 很方便
 |
 |
19
xw 2018-10-23 10:11:48 +08:00
s3cmd
|
 |
20
Les1ie 2018-10-23 10:21:43 +08:00 1
让我们猜一猜是不是昨天的 504 让站长意识到了需要异地容灾 :)
|
 |
22
iConnect 2018-10-23 10:37:51 +08:00
比较好奇 v 站怎么一攻击就死的硬硬的，没有一点复活能力（除了等站长起床）
|
 |
24
kios 2018-10-23 10:42:44 +08:00
Mountain Duck
|
 |
25
sunnyadamm 2018-10-23 11:09:12 +08:00
@Les1ie 周天 504，不是昨天
|
 |
26
zhaogaz 2018-10-23 11:17:15 +08:00
群晖就有这功能。 我觉得挺好的
|
 |
27
ReVanTis 2018-10-23 11:32:32 +08:00
注意一点，s3 并不是文件系统而是面向对象的存储。
试图从文件系统直接进行同步可能不能保留所有的文件信息，包括权限、修改日期等。 |
 |
28
likuku 2018-10-23 14:20:14 +08:00
记得 aws 自家的 cli 工具包里就有 rsync 工具可以直接推到 S3
|
|
29
likuku 2018-10-23 14:24:56 +08:00
#28 找到了：
"管理对象 高级别 aws s3 命令还可以方便地管理 Amazon S3 对象。这些对象命令包括 aws s3 cp、aws s3 ls、aws s3 mv、aws s3 rm 和 sync。cp、ls、mv 和 rm 命令的用法与它们在 Unix 中的对应命令相同，使您可以跨本地目录和 Amazon S3 存储桶无缝工作。sync 命令同步一个存储桶与一个目录或两个存储桶中的内容。" from: 通过 AWS Command Line Interface 使用高级别 s3 命令 - AWS Command Line Interface : https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/using-s3-commands.html sync — AWS CLI 1.16.39 Command Reference : https://docs.aws.amazon.com/cli/latest/reference/s3/sync.html |
 |
30
PureWhiteWu 2018-10-23 14:29:12 +08:00
我是用的 cloudmounter，感觉还不错
|
 |
31
pythonee 2018-10-23 14:35:28 +08:00
我也有同样的诉求
|
 |
32
laxenade 2018-10-23 16:37:09 +08:00 via Android
题外话，建议站长顺便把多版本打开(
|
 |
33
kennylam777 2018-10-23 17:54:25 +08:00
rclone +1, 因為有多線程
|
 |
34
phithon 2018-10-23 18:04:05 +08:00
一直用的 https://github.com/s3tools/s3cmd
直接可以把整个目录传上去 |
 |
35
cxbig 2018-10-23 18:46:03 +08:00
做備份用 aws s3 sync 配合 S3 版本控制就不錯
再簡單一點用 aws s3 cp --recursive 速度快些 不適合大批量小文件，效率不高。服務器在 AWS 之外的也會影響傳輸效率 |
Select Language