请问那位朋友接触过组建 200T+的存储呢？请多给些经验、建议。谢谢。

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› DigitalOcean

这是一个创建于 2794 天前的主题，其中的信息可能已经有所发展或是发生改变。

有需要提供 200T+存储的需求。

但是没接触过，搜了半天，大概了解了磁盘阵列。但是 hp dell 等价格特别贵。然后看到了一个淘宝上的，但是北京的某个商家。

个人感觉，具体实现肯定不像服务器组个 raid5 那么简单。

但是又担心有坑。所以来请教大家，请多给些经验、建议。谢谢。

我的场景。

大概 5 年为一个期限，宽松预估需要 200T 的存储能力，需要备份。（最好热备，不行就隔天也可以）

200T 中基本上 95%的数据第一次写入后就不会再有访问的需求了，但是有 5% 是完全随机的。所以整个存储偏向冷数据备份。

数据基本上都是每晚 12 点开始。第二天早晨结束。

存储的内容目前预估为 json ， word ，图片， 5 分钟左右的视频。几个类型的。以后有可能扩充，但这些预估为主要存储对象。

还请大家多多分享，多多指导，谢谢。

第 1 条附言 · 2017-04-02 12:20:06 +08:00

感觉太复杂了。

仔细看了看千万云，感觉我的需求他们的归档存储比较符合。

实现成本相对来说也低了很多。

就是不知道效果如何。。。

存储

预估

谢谢

热备

19 条回复 • 2017-06-11 23:42:15 +08:00

Rustle

2017-04-01 23:55:40 +08:00

这种需求就别淘宝了。
这个是存档的需求，分布式存储方向产品

thinks

2017-04-02 00:02:11 +08:00 via Android

400T 阵列柜管理员表示，这个涉及到的专业性质略高，还是建议请专业团队做。
包括阵列的配置计划，硬盘生命周期计划，后续的 iSCSI 存储配置等一系列操作。

thinks

2017-04-02 00:05:47 +08:00 via Android

我的阵列柜是， 100T 是固态，常用数据放在在里面，做高速读写;100T 是 raid0 ，当二级缓存放热备数据，最后 200T 做数据沉积，存放一些一年都不动一下的记录数据。

lan894734188

2017-04-02 02:37:08 +08:00 via Android

磁带机冷库

ryd994

2017-04-02 07:13:10 +08:00 via Android

这个数量级不是单纯堆量的问题
可能需要分布式文件系统

你先把需求理请：
可用性
数据存活率
要不要异地容灾
热数据 /冷数据访问延迟
是否可以预先请求（很多冷备份系统是要提前几小时请求的）
怎么索引
数据生命周期
设备生命周期

我也不是专业的，但是这些基本上任何储存系统都应该有所考虑

jingniao

2017-04-02 07:19:51 +08:00

200T 不大，但是你需要考虑的问题很多
存储接口?
平时用 ceph 比较多，感觉这个用对象存储(s3/swift)比较合适，不过需要开发对接，并且对 ceph 运维也有一定要求，建议找 ceph 服务厂商。
架构还需要专业人员
还有热数据可以用 cache 层，效果先不说
ceph 本身有副本跟纠删码的冗余机制，真正麻烦的是你要的备份功能， ceph 的对象存储多区域社区方案稳定性如何还是未知，倒是有几家专业点的有能力自己魔改代码然后上生产。

jingniao

2017-04-02 07:24:50 +08:00

不过算下来 ceph 跟专业的传统存储还有多少价格优势我就不清楚了。不太了解传统存储的价格， ceph 的报价倒是了解一点……

zjqzxc

2017-04-02 09:05:47 +08:00

如果预算充足，可以考虑一下现有的商用解决方案，比如 dell( http://china.dell.com/p/enterprise-products.aspx?c=cn&l=zh&s=bsd&~ck=mn),联想（ http://support.lenovo.com.cn/lenovo/wsi/es/es.html ）,惠普（没找到服务器的链接）；

popil1987

2017-04-02 09:11:40 +08:00

ceph 或 glusterfs ，网络版的 raid
机器自身存储可以用 lvm 挂多块硬盘

xbb7766

2017-04-02 09:45:16 +08:00 via Android

HP 3PAR
EMC 也有(名字忘了)
要省事建议还是用成熟方案。
非要自己攒，可以参考 backblaze,这家备份商，他们是用了自己设计的机器，我记得他们网站上之前有介绍过自己的系统。

littlewey

2017-04-02 10:38:17 +08:00 via iPhone

scaleIO

xjdata

2017-04-02 12:19:08 +08:00

感谢大家的回复。

@thinks 请问你们的是什么牌子的硬件？不知道我这里有没有他们的技术支持，有团队联系方式吗
@jingniao 方便发一下报价吗？ xjdata(AT)gmail.com

jingniao

2017-04-02 14:49:57 +08:00

@xjdata 只是了解一点点，而且我司在我看来也不算很专业就不误导人了。

honeycomb

2017-04-02 18:26:14 +08:00 via Android

linus tech tips 做过一个数百 T 的存储阵列，中间经历过数据恢复，后来升级成了 1PB

lydasia

2017-04-02 19:52:00 +08:00 via iPhone

现在 200TB 不算啥了吧，主要看你需求，可能并没有别人说得那么困难。原始容量 200T 的话也就 20 块 10TB 的硬盘。

powergx

2017-04-02 21:42:40 +08:00 via iPhone

40 块 10t 硬盘全部 raid1 ， 2 片 hba 卡加扩展卡。 solaris 装一个热备盘设定好。启动

geekzu

2017-04-04 09:55:54 +08:00 via Android

请搜索磁带库……

mlyy

2017-04-07 09:40:37 +08:00

miclinux

2017-06-11 23:42:15 +08:00

先考虑下 200T 数据丢失是什么后果。

然后就是：

1、服务器两块 HBA 备份，分别连接盘柜，如果要求再高，就两台做 HA 丛集，配置视需求定。
2、双电源，双主控的盘柜
3、盘柜的阵列部分，分卷，每个卷 20-30 块硬盘配置一个 RAID6。不要用 RIAD5 因为 RAID5 有效检文件损坏的几率。
4、硬盘，不要买 WD 的盘，有阴影，希捷的 SAS 盘。硬盘买容量最大的，目前是 12T，这样可以少插两块硬盘省点电费。

这样算下来，除了硬盘是 RAID 6 以外，所有部件都是 2 倍冗余。

未来扩充，只要插硬盘，添置盘柜就行了，1PB 以下的需求应该都没啥问题。

UPS 是必须，若服务不能停的话要加发电机，发电机的功率要为 UPS 的 3 倍以上，具体参见 APC 的白皮书。

SSD Cache 视需求添加。

以上是标准的高可用存储服务器配置。大部分是 2 倍冗余，记得浪潮之前做了个 1.3 倍硬件做出 6 个 9 可用的机器，不知道是怎么设计的。。

重要数据加密上云，死也不能丢的又不能上云的数据那就移动硬盘 /磁带存银行。