V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
redsonic
V2EX  ›  问与答

有 unraid 或 snapraid 实战经验的吗

  •  
  •   redsonic · 2018-08-17 21:52:18 +08:00 · 9408 次点击
    这是一个创建于 2049 天前的主题,其中的信息可能已经有所发展或是发生改变。

    看起来很简单但和存储相关的我都觉得没底。这两种类似的方案有什么坑没有? 比如什么操作组合把数据搞丢了之类的。我是打算作为个人基础存储系统来用的,所以成本、稳定、可维护性哪个都不敢马虎。

    第 1 条附言  ·  2018-08-19 15:00:59 +08:00
    本来只想把话题范围限制在基于目录的冗余存储方案,看看有什么坑没有,但发现回复的内容好像扩展了不少。那就说说我的基本环境与需求:
    个人用,数据 20TB,从几 KB 的源码文件到几百 GB 的单文件都有,存储设施两台 X86 软路由带 HBA 卡,位于两地不同运营商,传输带宽 50-100Mbps。需要 linux 上开源的稳定可靠的存储方案,版本更新不要太频繁。组建方案时最好不要有格式化这类操作,能够从 2-3 块盘失效的情况下完全恢复数据,恢复速度没要求,恢复等维护操作简单,不易把情况搞的更糟(这个很重要)。正常访问速度 20-100Mbps 都可以。能耗没要求。
    10 条回复    2018-08-19 17:45:59 +08:00
    zn
        1
    zn  
       2018-08-17 21:56:42 +08:00
    既然那么担心数据安全,那就上 raidz 啊
    redsonic
        2
    redsonic  
    OP
       2018-08-17 22:37:10 +08:00
    @zn 说实在的对面向块的方案没信心,主要是不出问题的时候一切大好,出了问题或抛出一堆调试信息就懵了,正常反应是立刻导到备份库上然后这边再 fix 但个人用可就没这个备份库了,比如我这边就有 20T。再或者遇到严重错误,不是降级的那种,目录都找不到了。
    如果是 unraid 或 snapraid 至少这类目录级的应对的方式很多。
    zn
        3
    zn  
       2018-08-18 00:08:06 +08:00
    @redsonic raidz 还不放心的话,那真的没得选了。感觉这是唯一一个能在价格、安全性、性能方面都能满足普通消费者的产品了。
    keramist
        4
    keramist  
       2018-08-18 09:47:50 +08:00 via Android
    最普通方案 raid1 然后 rsync 但其他机器或者硬盘 数据量小 syncthing
    redsonic
        5
    redsonic  
    OP
       2018-08-18 09:52:28 +08:00
    @keramist 现在就是 raid1,部分数据 rsync 到其他存储。但这个实在成本有点高,而且盘多了以后噪音会增加。
    keramist
        6
    keramist  
       2018-08-19 12:35:57 +08:00 via Android
    顺便提一句 你要告诉别人你对存储的需求 才能告诉你合适的方案 靠猜 也就告诉你个大概 如果机器多 三到四台机器 proxmox 集群 装 ceph 然后随便折腾 也方便管理机器 公司内网 家里测试存储都适合 不管要啥服务行 中小公司 建站也合适 说到底也就是三四台独立 debian 服务器 随便折腾
    redsonic
        7
    redsonic  
    OP
       2018-08-19 15:05:29 +08:00
    @keramist 谢谢提醒,已更新
    msg7086
        8
    msg7086  
       2018-08-19 16:11:04 +08:00
    基于目录和文件的方案没什么大坑,不过……
    你的要求是「完全恢复数据」,而文件 RAID 的最大卖点则是「即使不能完全恢复数据,也保留尽可能多的残余」,和你的要求其实是不一样的。

    如果成本允许的话,可以比如说 10-12 块企业级硬盘做 ZFS RAID Z3,至少要 4 块硬盘一起损坏才会丢失数据。ZFS,或者 ZFS on Linux,日常使用环境中已经很稳定了。我司的 NAS 上前后已经坏过 3 块硬盘,每次只要拔出坏盘,插入替身,然后用一个命令把新硬盘加入阵列即可。你可以看看我以前发的帖子 /t/280177

    可靠的存储,其实还是要用硬件(=钱)来保证的。
    redsonic
        9
    redsonic  
    OP
       2018-08-19 17:13:11 +08:00
    @msg7086 snapraid 是用 N 个存储器用来存储数据,同时用 P 个存储器用来存放校验数据( P ≤ 6, P ≤ N ),在总数 P + N 的存储器中,任意坏掉 X 个,只要 X ≤ P,就能用剩下存储器里的数据计算出坏掉的存储器里的数据。

    “ ZFS RAID Z3 阵列,12 盘里 9 盘数据 3 盘校验” 是容错 3+1 块同时挂掉吗? 包括其中有校验盘?
    msg7086
        10
    msg7086  
       2018-08-19 17:45:59 +08:00
    @redsonic 是的,12 盘 Z3 里,P=9 N=3,不过数据和校验是均匀分布的,不像 snapraid 那样是独立功能的硬盘。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3485 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 10:54 · PVG 18:54 · LAX 03:54 · JFK 06:54
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.