聊聊备份集管理

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3022 天前的主题，其中的信息可能已经有所发展或是发生改变。

我们每天做核心数据的备份。接下来需要：
- 将备份集拷贝到远端，防止本地磁盘挂了
- 软删除老的备份集，以避磁盘空间被占满

用 shell 能实现，再想有没有开源的工具可以拿来用，避免写一些漏水的脚本。

Note: 我知道 S3 有很好的支持。但感觉有点重了，而且会 vendor lock.

备份集

磁盘

vendor

shell

15 条回复 • 2016-09-20 14:41:58 +08:00

zhaoace

2016-09-19 14:43:47 +08:00

Rsync?

以下摘自 wiki ：
rsync 是 Unix 下的一款应用软件，它能同步更新两处计算机的文件与目录，并适当利用差分编码以减少数据传输。 rsync 中一项与其他大部分类似程序或协议中所未见的重要特性是镜像对每个目标只需要一次发送。 rsync 可拷贝／显示目录内容，以及拷贝文件，并可选择性的压缩以及递归拷贝。

在常驻模式（ daemon mode ）下， rsync 默认监听 TCP 端口 873 ，以原生 rsync 传输协议或者通过远程 shell 如 RSH 或者 SSH 伺服文件。 SSH 情况下， rsync 客户端运行程序必须同时在本地和远程机器上安装。

rsync 是自由软件，以 GNU 通用公共许可证发行。

zhaoace

2016-09-19 14:46:27 +08:00

可能是我没抓住重点。

如果问题是往哪里丢： S3 / 七牛 / 阿里云存储之类的可以考虑，国外环境的话 box/dropbox 也不是不行。
如果有空间，问题是怎么丢，这时候再来看 rsync 。

嗓(pen)子比脑子快，见谅。。。

dennyzhang

2016-09-19 15:40:37 +08:00

rsync, scp, 都能解决问题。但是不是要自己来写些 glue scripts?

有没有什么 CLI 工具或类库，拿来自己改配置，而非 coding ，即可解决问题。

dennyzhang

2016-09-19 15:45:13 +08:00

Twin post: https://www.reddit.com/r/devops/comments/53fkkt/remote_copy_backupset_and_data_retention/

likuku

2016-09-19 15:51:43 +08:00

rsync + zfs + snapshot

likuku

2016-09-19 15:53:58 +08:00

想起来还有 Bacula 开源的备份软件

likuku

2016-09-19 15:55:59 +08:00

还有哥们的公司用商业的梭子鱼 / Barracuda Backup 作备份，其实也很阳春...

likuku

2016-09-19 15:57:34 +08:00

google 搜 "开源备份工具" 就至少有半打的工具推荐

chengxiao

2016-09-19 16:09:51 +08:00

NAS 组 Raid5-6 ？应该不错，对企业来说成本也不高

likuku

2016-09-19 16:14:27 +08:00

@chengxiao RAID5-6 ，至少也得是纯软件来组，否则 RAID 卡停产后再坏掉了，那数据就完了。

没有几百万去买高端存储设备，那就 ZFS 组带冗余的 ZFS 存储池吧

chengxiao

2016-09-19 16:17:53 +08:00

@likuku 额你这考虑的太高端了.....我也比较推荐软 raid ，买个群晖几盘位看需求，自带 rsync 和各种 cloud sync ，可以同步至像 S3 等各种云服务，具体去群晖官网可以体验下 DSM6.0,看看是否能满足需求。

chinni

2016-09-19 17:14:30 +08:00

我自己在用 borgbackup

https://github.com/borgbackup/borg/

ryd994

2016-09-19 17:17:16 +08:00 via Android

@chengxiao raid 不能代替离线备份
管理员手贱 /病毒 /软件 bug 破坏数据还少么

chengxiao

2016-09-19 17:21:22 +08:00

@ryd994 我的意思是备份机上 raid.....

likuku

2016-09-20 14:41:58 +08:00