最近在调研 k8s 上有状态应用,关于分布式存储方面,对比了下,打算用 ceph ,想看看大家生产上的 k8s 都是用什么存储的
参考了下大家的回答,目前我们这边偏向于外购来私有化部署,有没有哪位大佬用过比较好的商业产品
1
yijihu 2022-01-04 16:34:34 +08:00
ceph nfs 一起用
|
2
vicalloy 2022-01-04 16:39:40 +08:00
我比较好奇的是 NFS 的性能损耗有多大。如果性能损耗大的话,部分 IO 敏感的应用是否不上 K8S ?
|
4
tommydong 2022-01-04 16:40:51 +08:00 via iPhone
ceph 坑还是很多的,小 team 不建议用
|
7
defunct9 2022-01-04 16:52:51 +08:00
glusterfs
|
8
liaohongxing 2022-01-04 16:53:40 +08:00
存储附件还马马虎虎 ,要是放 mysql , 你要哭 ,试了几个块存储 和 nas 感觉跟 local path provisione 相差一半左右,忍住没上 k8s
|
9
flexbug 2022-01-04 16:53:49 +08:00 via Android
minio 可以看看
|
10
CallMeReznov 2022-01-04 16:57:26 +08:00
维护过一段时间 ceph,搭建设备拉垮+开发一个 BUCKET 写到死,导致天天爆炸.
至今仍有阴影. |
11
hxsf 2022-01-04 17:40:48 +08:00
已经有 nas 的话,直接试试 iscsi ?
|
12
tommydong 2022-01-04 17:48:55 +08:00 via iPhone
都没接触过更不建议了,ceph 真心复杂
|
13
szq8014 2022-01-04 17:50:45 +08:00
@CallMeReznov 哈哈哈哈 哈哈 哈哈
|
14
tanhui2333 2022-01-04 17:57:38 +08:00
@tommydong 我记得部署就挺复杂的吧
|
16
tommydong 2022-01-04 18:46:40 +08:00
@tanhui2333 部署是有点复杂。不过相比以后的维护和遇到问题 debug 就不值得一提了
|
17
Reficul 2022-01-04 19:41:59 +08:00
|
18
zmxnv123 2022-01-04 19:59:54 +08:00
拒绝在生产环境使用 c++ 写的开源产品,主要是太复杂了,根本 hold 不住。
|
19
FullBridgeRect 2022-01-04 22:20:28 +08:00
商用私有化产品 openstack ?不过这个东西就更复杂了哈哈哈
分布式存储主流的是 ceph glusterfs 这两个,如果单机存储比较充足可以用 iscsi 对外,或者有买存储服务器的就更省事了😉 还有个项目是在 k8s 上面搭 ceph 的,叫 rook ceph ,我没用过不知道坑有多大🤣 === 涉及存储都是一堆坑,k8s 自己又是另一堆坑,我们用阿里云 aws 上 k8s 还是在坑里打滚😂 |
20
Deardrops 2022-01-04 22:29:52 +08:00
iomesh 了解一下,国内公司 Smartx 推出,一键部署,社区版可以免费使用。性能不会比 ceph glusterfs 差。
https://www.iomesh.com/ https://www.smartx.com/ |
21
Ranler 2022-01-04 22:53:48 +08:00
存储的坑比 k8s 的坑大
自建 NAS 咋保证高可用和数据备份? |
22
fsdrw08 2022-01-04 22:59:03 +08:00 via Android
longhorn ?
|
23
pydiff OP @FullBridgeRect 我们在华为的 cce 上也一堆坑,也很多问题直接就是无解
|
26
SIGEV13 2022-01-04 23:55:45 +08:00
红帽子的 Ceph 服务挺好的,让运维评估一下吧。
https://www.redhat.com/en/technologies/storage/ceph |
28
Akiya 2022-01-04 23:58:45 +08:00
ceph 挺好,但是几个人肯定搞不定,专门开个部门差不多
|
29
mritd 2022-01-05 08:30:24 +08:00 via iPhone
Longhorn? 逃
|
30
Judoon 2022-01-05 09:06:54 +08:00
ceph 可以的,推荐先自己搭建 ceph 然后用 ceph-csi 对接 k8s ,再考虑要不要用 rook 项目
19 年我也做私有化部署,物理机超融合方案,k8s+ceph+应用,全在一起 |
31
PyTx 2022-01-05 09:34:52 +08:00
红帽的很贵,性价比还不如买华为的分布式存储,如果还觉得贵,可以考虑其他家比如杉岩、XSKY 、浪潮、新华三、深信服之类的商用 ceph ,如果打算采购商用的话;如果不考虑采购商用建议找多几个人上开源版本,就是维护、调优啥都自己搞而已,开源的话人数少不建议采用,忒麻烦了
|
32
salmon5 2022-01-05 09:39:23 +08:00
上云
|
33
PyTx 2022-01-05 09:40:49 +08:00
@PyTx 如果实在想私有化,但是不知道哪家,可以考虑去 IDC 看一下最新的中国软件定义存储(SDS)市场跟踪报告,这里面有些数据可以提供参考
|
34
zhujq 2022-01-05 09:42:32 +08:00
存储坑多,很多不是拿来能用的
|
35
xin053 2022-01-05 09:49:47 +08:00
ceph 还是挺好用的,就是运维比较复杂,另外不建议使用 rook ,我这边是 ceph-ansible 非容器化部署的 ceph 集群给 openstack 用,以及 ceph-csi-rbd 作为 k8s 的 storageclass
|
38
xiaooloong 2022-01-05 22:17:37 +08:00
longhorn 0.7 的时候试过,不靠谱。后来干脆直接有状态不上 k8s 。
|
39
Akiya 2022-01-06 11:56:34 +08:00
要采购,而且还要国产那无非就是华为浪潮这几家呗
|