V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
zrp1994
V2EX  ›  服务器

集思广益:对于搭建小型 OpenStack 平台,如何采购服务器

  •  
  •   zrp1994 · 2019-07-31 08:33:56 +08:00 · 6468 次点击
    这是一个创建于 1703 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前学院有 10 万美元用于采购服务器,计划搭建 OpenStack 平台供学院的师生科研和实验使用。因为本人对专业服务器不太了解,所以向各位咨询一下服务器配置的选择以及架构的可行性。

    架构方面,目前计划一台服务器作为控制服务器用于一系列基础服务(Keystore, Horizon, Glance,有可能再加上 Heat),一台或者两台分别用于块存储和对象存储 (Cinder, Swift,如果一台服务器不可以同时安装这两个服务的话就上两台),一台用于网络服务 (Neutron),若干台用于计算服务 (Nova)。目标用户大概包括 10~20 个老师和 100 以内的学生。每个用户单个 instance 的配置并不高,主要在于做实验的时候可能用到的 instance 数量较多。

    针对上述架构的话,我认为网络服务器和计算服务器的瓶颈在于 CPU、内存和网络,存储服务器的瓶颈在于硬盘和网络。然后计划采购戴尔的 PowerEdge 系列的 Rack Server,不知道针对上述架构在配置的选择上大佬们有没有什么建议。当然如果有更好的选择的话,品牌也可以不限于戴尔。另外大家也可以分享一下自己搭建 OpenStack 平台的架构。谢谢大家的帮助!

    第 1 条附言  ·  2019-08-06 11:12:16 +08:00

    感谢各位的回复。以下是最终和老师商议后暂定的方案,希望对其他人有所帮助:

    pfSense Firewall Dell PowerEdge R740 Rack Server CPU: 2x Intel Xeon Gold 5217 3.0G 8C/16T RAM: 64G RDIMM 2933MT/s Hard drive: 2x 600GB 10K RPM SAS with RAID 1 Network: Intel X520 Dual Port 10GbE SFP+ & i350 Dual Port 1GbE BASE-T Price: $6600

    OpenStack Controller (Keystone, Horizon, Glance, Swift, Cinder, Nova Server, etc) Dell PowerEdge R740 Rack Server CPU: 2x Intel Xeon Gold 5218 2.3G 16C/32T RAM: 128G RDIMM 2933MT/s Hard drive: 2x 600GB 10K RPM SAS with RAID 1 Network: Intel X520 Dual Port 10GbE SFP+ & i350 Dual Port 1GbE BASE-T Price: $7400

    OpenStack Network (Neutron) 同pfSense Firewall

    Distributed Storage Dell PowerEdge R740 Rack Server CPU: 2x Intel Xeon Silver 4216 2.1G 16C/32T RAM: 64G RDIMM 2933MT/s Hard drive: 2x 300GB 15K RPM SAS with RAID 1 & 8x 2.4T 10 RPM SAS with RAID 5 Network: Intel X520 Dual Port 10GbE SFP+ & i350 Dual Port 1GbE BASE-T Price: $12000

    2x OpenStack Compute (Nova) Dell PowerEdge R840 Rack Server CPU: 4x Intel Xeon Gold 5218 2.3G 16C/32T RAM: 512G LRDIMM 2666MT/s Hard drive: 2x 600GB 10K RPM SAS with RAID 1 Network: Intel X520 Dual Port 10GbE SFP+ & i350 Dual Port 1GbE BASE-T Price: 2x $24000

    $100k经费的话,这样选配下来还剩$20k左右,还可以再选购10Gbps的交换机等等。目前考虑到初期内部测试使用,暂不对外开放,就没有对Controller部分没有做HA。这套选配可能还存在着种种问题,欢迎大家的意见与建议。

    14 条回复    2019-09-27 07:44:13 +08:00
    uleh
        1
    uleh  
       2019-07-31 08:49:57 +08:00   ❤️ 1
    一个 instance 按 4G ram + 50G hd 来算,120 个 Instance 就是 480G 内存 + 6T 硬盘
    品牌选戴尔、联想都可以,配置用 2U + 128GRAM,买 6 台组成 2 控+4 算 的集群
    一台 1 万多刀,一共估计在 8w 刀之内,剩下钱买硬盘、光纤卡、交换机
    uleh
        2
    uleh  
       2019-07-31 08:51:10 +08:00   ❤️ 1
    如果对数据可靠性有要求就不加硬盘,增一台存储服务器
    swulling
        3
    swulling  
       2019-07-31 09:13:26 +08:00 via iPhone   ❤️ 1
    两个控制节点,其他计算节点。虽然集群小,也要最起码有个主从…

    如果钱不多,控制节点也可以跑计算
    swulling
        4
    swulling  
       2019-07-31 09:14:57 +08:00 via iPhone   ❤️ 1
    存储和计算混部
    littlewey
        5
    littlewey  
       2019-07-31 09:20:09 +08:00 via iPhone   ❤️ 1
    可以试试用 airship 来部署
    x7395759
        6
    x7395759  
       2019-07-31 09:29:24 +08:00   ❤️ 1
    搭建 OpenStack 有太多坑了,我不是很喜欢这个方案哈哈哈哈哈

    主从我觉得可以不用,一般来说内存是最缺的,CPU 可以超并且影响不大,网络也还好,专业交换机上了也没有瓶颈。
    zrp1994
        7
    zrp1994  
    OP
       2019-07-31 09:31:17 +08:00
    @uleh
    @swulling
    请问两控是指一个 Network Controller 另一个是其他 Controller services 么?还是两个同样的 controller 做 high availability ?
    zrp1994
        8
    zrp1994  
    OP
       2019-07-31 09:34:00 +08:00
    @x7395759 因为之前在现有服务器上搭过 OpenStack 并且 Research 与 OpenStack 相关所以选用了 OpenStack。正如你所说的,OpenStack 坑太多,而且如果不深入优化的话性能不是很好。请问除了 OpenStack 有没有其他的平台建议?
    x7395759
        9
    x7395759  
       2019-07-31 09:40:44 +08:00   ❤️ 1
    @zrp1994 之前我司也自建了 OpenStack,后来搭建了 k8s+docker。个人感觉后者利用率是高一些,不过和 OpenStack 还是有很大的区别,如果要私有云的话好像是没有别的方案了。

    也许科研学习实验用途对性能要求没有那么高也无所谓,主要还是看用途。
    swulling
        10
    swulling  
       2019-07-31 10:01:50 +08:00 via iPhone   ❤️ 1
    @zrp1994 做 HA,控制节点你这么小规模没啥资源需求的
    uleh
        11
    uleh  
       2019-08-06 10:43:38 +08:00   ❤️ 1
    @zrp1994 做 HA 就行了
    如果主要需求是提供虚拟机给学生 /老师用,其实用 proxmox 或者 oVirt 搭建集群更方便。。
    httplife
        12
    httplife  
       2019-08-08 13:59:25 +08:00   ❤️ 1
    pfSense Firewall 这个应该可以省去, 加个好点的 Layer 7 Juniper / Cisco 交换机(就是需要额外学一下怎么用 Junos OS/Cisco)
    Dell 本身 software raid 不怎样, 用硬件 RAID,SSD 代替 SAS .

    如果愿意折腾, 建议用 SuperMicro, 可以搭配更好点配置. 省下的钱还可以买备件
    p200635
        13
    p200635  
       2019-09-27 07:39:33 +08:00 via Android
    虚拟化 上 dell 这个方向没错。 但是为什么要上 OpenStack 而不是 ovirt 我司就是全套 VMware 爽到极限
    p200635
        14
    p200635  
       2019-09-27 07:44:13 +08:00 via Android
    从构架分析 你需要超融合方案 成熟的商用有 VMware nitanix 其他的不推荐 计算和存储是要分离的 网络是要支持软件定义的 还需要自动化运维 或者是桌面云 基本上数下来的话 直接找开源的话 ovirt 或者 pve 是最好的 也可以直接上 nutanix 的一体机 也是便宜还带有成熟的解决方案
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2831 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 13:16 · PVG 21:16 · LAX 06:16 · JFK 09:16
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.