用 SSD 做 raid5 是不是可以显著提高重建成功率？
systemcall · 2020-07-04 00:33:05 +08:00 via Android · 4881 次点击这是一个创建于 1637 天前的主题，其中的信息可能已经有所发展或是发生改变。
raid5 重建容易失败。我的理解是：
1. raid5 会有大量读操作，机械硬盘本来就快坏了，重建的时候因为读负载太大硬盘坏了
2. 硬盘的数据本身就有可能错误
3. 重建的时间较长。硬盘的批次相同、体质相似、工作负载相似，容易在相近的时间故障
SSD 的话：
1. 读操作的磨损很小，基本上不会造成损伤
2. 有校验和纠错、均衡磨损，理论上可以做到主机感知
3. 速度快、容量小，需要的时间短，并且 SSD 读操作影响小，没那么容易坏掉
1. raid5 会有大量读操作，机械硬盘本来就快坏了，重建的时候因为读负载太大硬盘坏了
2. 硬盘的数据本身就有可能错误
3. 重建的时间较长。硬盘的批次相同、体质相似、工作负载相似，容易在相近的时间故障
SSD 的话：
1. 读操作的磨损很小，基本上不会造成损伤
2. 有校验和纠错、均衡磨损，理论上可以做到主机感知
3. 速度快、容量小，需要的时间短，并且 SSD 读操作影响小，没那么容易坏掉
 |
1
pkwenda 2020-07-04 01:45:03 +08:00
听说 ssd 半年 - 一年 不通电数据容易丢失
|
 |
2
IgniteWhite 2020-07-04 01:58:06 +08:00  2
@pkwenda 嗯，一般建议每六个月通电。因为 SSD 和所有的 non-volatile RAM 一样，数据是存在浮栅晶体管的浮栅里的。浮栅一般是金属（或类金属化合物）包在上下两片 high-k 介质里，周围有 low-k 钝化层包裹。所有介质层都是非晶氧化物，有晶界、各种类型的缺陷造成漏电，尽管速度很慢。不过要是不考虑成本且阶段性通电的话，SSD 会快一些。
|
 |
3
vk42 2020-07-04 02:06:45 +08:00 1
@pkwenda @IgniteWhite 做 raid 的话不就默认常年在线么，为什么要考虑 retention error ？
用 SSD 的话主要还是成本问题吧，现在 8T 的 SSD 即使 QLC 这么长时间也比 HDD 贵几倍吧，而且写入寿命不知道能折算多少的 MTBF ？ |
|
4
IgniteWhite 2020-07-04 02:09:45 +08:00
@IgniteWhite 补充，也可能是多晶硅栅
|
 |
5
cjpjxjx 2020-07-04 02:25:52 +08:00
SSD 价格够买好几块机械硬盘直接 raid1 了吧
|
 |
6
ryd994 2020-07-04 03:41:53 +08:00 via Android
如果 SSD 做 raid 一般是为了高性能，用 raid5/6 的话校验会成为瓶颈。所以 SSD 一般用 raid10 或直接 raid0 用作缓存
|
|
7
ryd994 2020-07-04 03:47:45 +08:00 via Android
@cjpjxjx SSD 的优势是多少块硬盘都无法比拟的
SSD 的优势是写入延迟。这是必须落盘而不能靠缓存的。机械硬盘的寻道时间是硬伤。而且无论怎么 raid，写入延迟都不会更低，甚至因为多了一个中间层还更高了 带 bbu 的 raid 卡可以允许 writeback 缓存顶一下，但是和 SSD 的可持续性还是没法比的 optane 在这方面更强大 要追求极限的话 raid 卡本身就是瓶颈，甚至芯片组也会成为瓶颈，这就要靠 vroc 技术了 |
 |
8
delectate 2020-07-04 07:00:20 +08:00 1
楼主的思考已经很深入了，值得点赞。
首先，可以用 ssd，但是成本太高了，所以通常不推荐。 raid5 的确存在“硬盘的批次相同、体质相似、工作负载相似，容易在相近的时间故障”情况，遇到了就会感到深深的绝望。 所以通常个人推荐 raid10，或者 raid6，hot spare 等方案。 |
 |
9
loading 2020-07-04 07:25:41 +08:00 via Android
raid 是高可用方案，并不是数据备份方案，怎么多人就是不听呢？
|
 |
10
lucifer9 2020-07-04 08:27:23 +08:00
大硬盘重建 raid5 经常失败主要是由于 Bit Error Rate
https://lenciel.com/docs/scsi-sata-reliability/ |
 |
11
ericbize 2020-07-04 08:34:05 +08:00 via iPhone 1
之前四块家用 4T 的盘做 raid 5， 重建都没事，硬件 raid 卡才是关键吧？
|
 |
15
wanguorui123 2020-07-04 15:34:30 +08:00 via iPhone
用 SSD 不如用 RAID6 或 RAID10，足够多买几块备份机械硬盘了。SSD 一旦坏了恢复就麻烦了
|
 |
16
iceecream 2020-07-05 22:35:11 +08:00
cachecade 可以折中一点
|
 |
17
594duck 2020-07-06 07:44:15 +08:00
我们生产环境都是 raid10 * 4 块万转磁盘 ssd 只是做 cache
|
 |
18
beijiaoff 2020-07-06 11:31:14 +08:00
现在存在叠瓦盘和非叠瓦混卖的情况，如果做 raid5，一定要认真鉴别。重建时间可能有 10 倍以上的差距。 还有，时刻记得是高可用性方案，不是备份方案。先确定自己的目的再选择技术。
|
|
19
beijiaoff 2020-07-06 11:31:55 +08:00
上面咋丢掉了 raid 单次，raid5 是高可用性 不是备份方案
|
 |
20
no1xsyzy 2020-07-06 16:00:17 +08:00
@beijiaoff #18 之前存在，现在已经不存在了，主要大厂均明确声明，以后的所有产品上明确标注 SMR/PMR 。主要还是集体诉讼这个机制比较先进。（我之前还天真以为 HMR 之类可用了所以没必要混杂 SMR/PMR 了）
那个测试里重建花了 9 天来着？拿叠瓦式做 NAS 必须是可感知并且配合感知处理的文件系统，否则别想了。换句话说，消费者级别想了。 顺便让我也来复读下吧 raid 是高可用方案，并不是数据备份方案，怎么多人就是不听呢？ ZFS 定期全卷备份不好吗？ systemd 做个 mount 即开始备份的 trigger，定期插一下就好了。 |
 |
21
systemcall OP @loading 数据备份，不应该用 SSD 吧
想到的是这样的话，可以保证服务可用。备份当然是要做的，那也是容灾用的了，成本和可靠性比性能重要 而且感觉 SSD 的故障没那么有规律，组 raid 反倒是更好的选择：需要保证部分 SSD 故障时服务可用，不容易出现大批的故障因为故障没多少规律，重建会快上不少而且成功率高，没有共振和启动电流方面的问题，组 raid 可以有效地提升顺序读写的性能，也不会因为额外的 IO 和队列而大幅降低性能 |
|
22
ryd994 2020-07-09 17:58:09 +08:00 via Android
@systemcall raid 无法叠加 ssd 的性能
ssd 本身的性能已经相当高了。用 SSD 的地方一般不是为了顺序读写带宽，带宽靠堆 hdd 也可以解决。需要的是随机读写，而 raid 对随机读写没有任何用。对于 raid5 这样的有 parity 计算的还会有反效果，因为需要先读所有 bit，计算 parity 之后再回写。而且 parity 计算的消耗也非常大 即使用 raid0/1，raid 卡也大概率会成为瓶颈。所以才有 vroc 技术。如果你不需要 vroc 技术，那你大概率也不需要 SSD raid |
 |
23
vsean 2023-05-22 03:56:42 +08:00 via iPhone
3 年后，ssd 已经白菜价了，m2 4t 只要 1000 ，跟 4t 希捷酷狼的价格几乎一样了，随着闪存颗粒的不断降价，nas 必将全固态化，体积也会大大减小
|
|
24
systemcall OP |
|
25
vsean 2023-05-24 14:45:52 +08:00
@systemcall #24 400 多 4T 的是最低端的 蓝盘，绿盘之类的产品，除非只用来存电影，如果存重要数据，坏的概率是大大高于酷狼之类的专业 NAS 硬盘的
|
|
26
systemcall OP @vsean #25
400 多可以买到紫盘，紫盘设计的工作负载并不低，你可以看作它能够一直以 100M/s 顺序写入，写 5 年 这个方面，SSD 反而做不到 而且紫盘对阵列有优化，比如有 rv 传感器，不过部分型号确实没有 |
Select Language