V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
whyorwhynot
V2EX  ›  程序员

文件块级增量备份的工具

  •  
  •   whyorwhynot · 57 天前 · 1790 次点击
    这是一个创建于 57 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近个人使用的 Windows 镜像存储池崩了,两块 4t ssd ,居然还卡 windows bug 重建失败了且无法继续重建,花了 600 多块买了数据恢复软件才给恢复了,让我反思如何安全且实时的备份数据。

    1 、组 raid ,虽然 raid1 不是备份,但是想实时有个数据副本还是令人安心的,就是贵了些,过去折腾的多买的主机有些多,每台主机都搞 raid 也不太方便,尤其一些迷你主机只有一个 nvme ssd ,整两个 ssd 组 raid1 有些浪费了,数据都上传 nas 个人平时管理心智压力也大,尤其是我的数据到处乱放,结构变更也比较频繁,长久看自动化不太现实,组 homelab 也是为了方便不是给自己找麻烦。 2 、使用数据备份软件

    • SyncBackFree是文件级别的,因为平时是虚拟机重度用户,这些虚拟磁盘太大,文件级别备份每次读写压力还是太大了。
    • restic比较高级,但是看原理貌似是分块算哈希,文件时间比对,文件块貌似没有时间戳追踪,那么增量备份应该还是要扫描一遍整个文件吧,磁盘读的压力又大了,而且这些虚拟机都是运行状态,热备份下的情况又是个问题。
    • 基于卷影复制的一些软件,比如Diskgenius可以全量和增量备份 热备份,测下来增量还是只能文件级别备份,对于大的虚拟磁盘变更情况还是存在问题,把软件跑在虚拟机里面一台台备份文件勉强能用但是管理成本大了时间久了估计又懒了不做了。
    • Macrium Reflect 没用过,貌似很强,不知道有没有实现文件块级增量备份

    存在一些文件块级实时追踪更改的备份软件吗(或者某种民用的异步镜像技术?),每次只增量备份修改的文件块而不是文件,不知道 ZFS 或者 Btrfs 之类的支不支持块级增量备份到远程(要换操作系统了。。),实在不行只能加钱组更多 raid1 了,raid5 被大家黑怕了不敢用。

    14 条回复    2024-09-27 17:07:48 +08:00
    bczhc
        1
    bczhc  
       57 天前
    搜下 (linux) block-level incremental backup 吧,应该有解决方案的。据我知道的 Btrfs 的 send 不是 block-level 而是 file extent-based 。
    whyorwhynot
        2
    whyorwhynot  
    OP
       57 天前
    @bczhc linux 上有 elastio-snap 和 Dattobd ,有点太小众了,也不知道稳定性如何。
    iX8NEGGn
        3
    iX8NEGGn  
       57 天前
    Macrium Reflect 至少分区备份是支持块级增量备份的,我每天用来备份系统盘到另一块硬盘,文件备份我就不知道了,如果不行,可以考虑把镜像放一个分区,然后直接备份分区。
    PolarBears
        4
    PolarBears  
       57 天前
    试试 veeam ?
    Jhma
        5
    Jhma  
       57 天前
    群晖 ABB 套件,去了解一下,包你满意
    xclimbing
        6
    xclimbing  
       57 天前
    我觉得除非你的文件系统是基于块级操作设计的,否则,所有块级增量备份的操作都是基于扫描整个文件或分区(全读)进行的。ssd 读不是问题,只需要把备份操作放在 IO 比较轻的情况下(例如半夜或者空闲时间)。
    xclimbing
        7
    xclimbing  
       57 天前
    至于虚拟机,你可以随时给虚拟机做快照啊。快照之后,前面的改动就固定在上一个磁盘文件里了。
    Jhma
        8
    Jhma  
       57 天前
    @xclimbing 快照缺点:多次快照,会让虚拟机占用磁盘迅速增大;不是单独的备份,无法把某一时刻还原虚拟机到其他物理机上;无法浏览某一时刻的虚拟机里面的文件,只能还原快照之后进系统查看。而群晖 ABB 套件就能干这些事
    xclimbing
        9
    xclimbing  
       57 天前
    @Jhma 没用的快照可以及时删除,快照的目的是为了方便备份。快照也是可以克隆的。快照也可以随时还原。这种事儿不能既要还要。群晖 ABB 套件虽然能实现增量备份,但对于虚拟机来说,它也得先恢复虚拟机到某个时刻,恢复也需要时间和过程,对吧?而且,所谓的空间占用,只不过从本机挪到了 nas 上。用 diskgenius 之类的可以直接访问快照磁盘恢复文件。
    Jhma
        10
    Jhma  
       57 天前
    @xclimbing 对于你这种快照等于备份的思维,以后会吃大亏的。群晖 ABB 的终极目的是灾备,涵盖了物理机 win/linux/mac 的分区以及整盘的灾备增量,也支持 hyper-v 和 esxi 的虚拟机灾备增量,快照作为原物理机的损毁而丢失,何谈去恢复
    whyorwhynot
        11
    whyorwhynot  
    OP
       57 天前
    @PolarBears 支持 CBT 技术,免费支持 10 台,应该是我想要的,软件包好大
    whyorwhynot
        12
    whyorwhynot  
    OP
       57 天前
    @Jhma 没用过 ABB ,看了下群辉官网谈到的更改块跟踪 (CBT) 技术是利用 VSS 拍摄快照并识别在快照之间更改的块,看这个描述应该是不需要安装驱动的,那么应该是需要扫描比对整个文件判断变更的块,原理貌似和 restic 、veeam 的默认 CBT 机制类似? veeam 可以安装 Veeam CBT driver ,这个似乎是真的 CBT 实现
    whyorwhynot
        13
    whyorwhynot  
    OP
       57 天前
    @iX8NEGGn 看官网描述还可以,通过 cbt 驱动实现。
    Jhma
        14
    Jhma  
       57 天前
    @whyorwhynot CBT 是 esxi 的基本特性之一,所以群晖 ABB 和 veeam 都是调用 esxi 的特性,所以虚拟机上不用安装额外的软件就能实现 esxi 虚拟机的块级增量备份,块级传输的好处就是能最大利用磁盘性能和网络吞吐,实现快速备份和还原
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2669 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 11:10 · PVG 19:10 · LAX 03:10 · JFK 06:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.