首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in，那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动，会导致账号被禁用。
zuoakang
V2EX  ›  NAS

不懂就请教：有可能实现 PVE/ESXI 虚拟机+LEDE+爱快+freeNas+win10(插显示器日常使用)+centos+win7 吗？

  •   
  •   zuoakang · 2019-09-15 17:25:50 +08:00 · 22238 次点击
    这是一个创建于 1881 天前的主题，其中的信息可能已经有所发展或是发生改变。

    如果软路由一台机器、freenas 一台机器、win10 一台机器、win7 和 centos 一台机器、那管理起来肯定是一件很麻烦，并且机器多了，很占用空间，所有有个想法all in one，不知道这种方案是否可行

    目的：利用 pve 或者 ESXI 虚拟出各种系统，满足软路由、数据备份、win 日常使用，其主要有以下系统

    • lede 和爱快软路由使用
    • freenas 或者黑群晖 主要做存储，备份照片，直通机械硬盘
    • win10 日常使用和打游戏，直通 ssd 系统盘+机械数据盘+显卡（外接显示器）
    • centos 跑一些 web 服务
    • win7 下载机、HTPC、远程 mstsc 登录

    请教下大家有可能实现吗？，win10 这样使用有性能影响吗？

  • win10
  • centos
  • freenas
  • 机器
    122 条回复  •  2020-05-21 14:23:51 +08:00
    1  2  
    ❮ ❯
    reechangs
        1
    reechangs  
       2019-09-15 17:28:26 +08:00 via Android   ❤️ 2
    我怎么感觉你这样管理起来更麻烦
    dahounet
        2
    dahounet  
       2019-09-15 17:29:53 +08:00 via Android   ❤️ 4
    电脑：我太难了
    Raynard
        3
    Raynard  
       2019-09-15 17:30:11 +08:00   ❤️ 1
    能实现，配置高的话基本没有，

    目测 7100 起步，7500 比较合适

    系统盘 128G 起
    ooxxcc
        4
    ooxxcc  
       2019-09-15 17:31:35 +08:00   ❤️ 2
    可以，很简单

    不过你要考虑好，万一不小心把母鸡弄炸了，网络都不通，修都不好修
    also24
        5
    also24  
       2019-09-15 17:46:22 +08:00 via Android   ❤️ 1
    把日用需求拆出来单独一台机器，其它需求单独一台机器
    loading
        6
    loading  
       2019-09-15 17:47:54 +08:00 via Android
    群晖跑 docker 就能跑 web 啦，下载机也能做。
    springz
        7
    springz  
       2019-09-15 17:49:05 +08:00
    我现在就是这么干的
    springz
        8
    springz  
       2019-09-15 17:50:03 +08:00
    虚拟化是 PVE，路由 OpenWRT 是跑在 PVE 上的
    zuoakang
        9
    zuoakang  
    OP
       2019-09-15 17:52:16 +08:00 via Android
    @Raynard i7 6700k 可行吗
    zuoakang
        10
    zuoakang  
    OP
       2019-09-15 17:53:19 +08:00 via Android
    @ooxxcc 硬盘直通的，数据还是存在的，就是需要恢复系统吧？
    zuoakang
        11
    zuoakang  
    OP
       2019-09-15 17:54:07 +08:00 via Android
    @springz win10 能日常使用吗？性能如何呀？配置是怎样哈😊
    springz
        12
    springz  
       2019-09-15 17:55:27 +08:00
    不能，Windows 就别想了
    springz
        13
    springz  
       2019-09-15 17:59:51 +08:00
    推荐是直接用 PVE 的 ZFS，然后群晖虚拟化一个超大的盘。
    Reficul
        14
    Reficul  
       2019-09-15 18:00:58 +08:00 via Android
    直通显卡你得有一张独显，win7 和 10 都要显卡你要两张独显，别的都不是事。目前我 freenas，openwrt，emby，以及三台 Ubuntu 做 kube 集群跑在客厅里。磁盘全部直通给 freenas，用 nfs 或者 iSCSI 共享出来，因为没有独显，emby 在宿主机上 docker 部署。
    ooxxcc
        15
    ooxxcc  
       2019-09-15 18:01:33 +08:00
    @zuoakang 没网络的情况下维修都要困难一些，至少对我来说是这样

    我建议还是分一下，路由、nas、htpc 等可以共用一台机器（ 24 小时开机，部件尽量考虑低功耗），然后另外一台插显卡的高性能机器。

    否则……光待机功率就够喝一壶的
    springz
        16
    springz  
       2019-09-15 18:01:42 +08:00
    Windows 10 显卡直通可以，不过直通最好使用服务器主板和志强系列 CPU，但是 Windows virtio 网卡驱动存在部分问题，日常使用应该可以。
    springz
        17
    springz  
       2019-09-15 18:05:23 +08:00
    这只是一个节点
    OpenWrt 直接宽带拨号，通过交换机连接家里所有机器和节点内部机器
    http://tva1.sinaimg.cn/large/007X8olVly1g70czdg8d0j31580i8div.jpg
    http://tva1.sinaimg.cn/large/007X8olVly1g70czdrb8qj30eq0ck75s.jpg
    zuoakang
        18
    zuoakang  
    OP
       2019-09-15 18:12:06 +08:00 via Android
    @springz 好的，谢谢，你这个功耗大概是多少哈？超过 100w 吗
    springz
        19
    springz  
       2019-09-15 18:14:33 +08:00
    待机大概 200W 左右，你既然考虑虚拟化就不要存在低功耗的幻想了，使用家用级 U 折腾死你
    cjpjxjx
        20
    cjpjxjx  
       2019-09-15 18:16:22 +08:00 via iPhone   ❤️ 1
    不要放在一个篮子里。。
    hanqi7012
        21
    hanqi7012  
       2019-09-15 18:17:31 +08:00 via iPhone
    主机用的啥？弄个 x79 x99 洋垃圾咋样
    springz
        22
    springz  
       2019-09-15 18:23:42 +08:00
    买两台机器，PVE 有内置的 HA，无感故障迁移
    springz
        23
    springz  
       2019-09-15 18:27:40 +08:00
    还觉得家里自己用需要高可靠性的自己搭一个 4 节点 OpenStack 也没多少钱。二手洋垃圾 1-2w 能搞定
    qceytzn
        24
    qceytzn  
       2019-09-15 18:28:23 +08:00
    听说过“不要把所有的鸡蛋放在一个篮子里”吗？只一台机器的情况下，这台机器的硬盘一旦出问题，你的所有数据都可能完蛋。我刚刚攒了台双 E5 的机器我都没想这么干，一来待机功率就很大，靠近一点就能感觉到热气，我还是只是选了 70W 的 cpu，90 或者 140W 的 cpu 还不要命了
    springz
        25
    springz  
       2019-09-15 18:29:55 +08:00
    一台机器所有硬盘加入 ZFS RAIDZ1 我觉得可靠性没啥问题
    springz
        26
    springz  
       2019-09-15 18:32:12 +08:00
    我直接整了个机柜扔角落里，服务器 U 也不用太担心过热，没到 80 我都觉得问题不大
    hanqi7012
        27
    hanqi7012  
       2019-09-15 18:37:14 +08:00 via iPhone
    @springz 想想家用就感觉刺激 家里角落规划个机柜 噪音还巨费电
    springz
        28
    springz  
       2019-09-15 18:38:21 +08:00
    规划了交换，计算，存储三层
    springz
        29
    springz  
       2019-09-15 18:40:19 +08:00
    交换机是企业级汇聚交换机噪音坑死人，和机器还有集中存储一起当然都拆过自己改过猫扇和风道。家用没那么高负载，很安静就能压住，自己写个脚本监控下温度报警 OK，已经成功渡过北京没有空调的夏天。
    springz
        30
    springz  
       2019-09-15 18:40:54 +08:00
    我就在柜机旁边工作，距离 1 米，噪音可忍受
    springz
        31
    springz  
       2019-09-15 18:45:46 +08:00
    全虚拟化其实是非常非常好的方案，虚拟化很容易备份快照恢复还有 HA，存储也可以直接上 Ceph，尤其对程序员来说，几行命令起一个集群测试，比用云服务省很多很多钱。
    springz
        32
    springz  
       2019-09-15 18:47:38 +08:00
    硬盘先做 ZFS RAID，然后多节点组成一个 Ceph 集群，至于所谓的风险除非手抖或者地震了没异地备份
    springz
        33
    springz  
       2019-09-15 18:49:24 +08:00
    我现在是 Ubuntu 直通显卡，3 米 HDMI 带两台 4K 显示器，还有一条 USB3.0 的线，桌面上 Hub 接键盘鼠标之类的。
    springz
        34
    springz  
       2019-09-15 18:52:23 +08:00
    OpenWRT 放了个 DNSPod 的脚本，半个小时刷一次 DNS，装了 OpenVPN 的插件，在外面也能进入家里的内网。机器全部有上电自启，突发停电也不用手动开机。
    Tink
        35
    Tink  
       2019-09-15 18:53:29 +08:00 via iPhone
    我觉得技术上应该没啥大问题，但是把一个机柜放家里真的大丈夫么
    springz
        36
    springz  
       2019-09-15 18:54:18 +08:00
    很好用啊，我在机柜上还放了 AP 和打印机，当个大号收纳台用
    springz
        37
    springz  
       2019-09-15 18:55:03 +08:00
    不愿意用机柜自己用那种开放式的架子摞一下，散热还更好。全是二手洋垃圾。
    hanqi7012
        38
    hanqi7012  
       2019-09-15 18:55:22 +08:00 via iPhone
    @springz 一月电费得多几百块吧
    springz
        39
    springz  
       2019-09-15 19:05:33 +08:00
    交换机：H3C S5120-24P
    机器 1：自己攒的 CPU E5-2680 v2 * 2，友达主板，Intel SSD 512G * 4 内存 64G
    机器 2：曙光 4 节点服务器 I620-T20 E5-2680 v2 * 4，Intel SSD 512G * 8 内存 128G
    存储：华为 RH2285 E5-2680 v2 * 1 希捷 4T * 8 内存 8G
    存储直接连机器，没经过交换机，交换机只有千兆，直连万兆
    springz
        40
    springz  
       2019-09-15 19:08:52 +08:00
    没有啊，算下嘛，整套功耗 300w-600w，一个月 150 块钱左右电费。还好。
    springz
        41
    springz  
       2019-09-15 19:12:43 +08:00
    I620-T20 CPU 型号写错了，E5 2630L V4 低功耗 CPU
    springz
        42
    springz  
       2019-09-15 19:13:52 +08:00
    整套下来全是洋垃圾组装和我 Mac 本差不多钱，很合算
    ys0290
        43
    ys0290  
       2019-09-15 19:17:19 +08:00 via iPhone
    all in one，我做过，其他没意见，有一点你考虑一下，如果软路由崩了，你怎么进各系统，随时备一个外置路由？
    zzj0311
        44
    zzj0311  
       2019-09-15 19:18:39 +08:00 via Android
    all in one 你不也得维护所有系统🙃
    springz
        45
    springz  
       2019-09-15 19:19:04 +08:00
    华为 RH2285 加上 U 内存还不到 2000 块，还不如硬盘贵
    ys0290
        46
    ys0290  
       2019-09-15 19:19:17 +08:00 via iPhone
    @ys0290 而且啊，如果有一个虚拟机把性能拉下来了，路由器就不行了，还要连累其他虚拟机的网速
    springz
        47
    springz  
       2019-09-15 19:21:01 +08:00
    我软路由做了 HA，所以没啥影响。DHCP 是交换机管理的。如果交换机也崩了，那只能认倒霉。
    springz
        48
    springz  
       2019-09-15 19:21:59 +08:00
    虚拟机设置 CPU 亲和性固定使用单独 CPU，不会存在整体性能降低。KVM 不是那种全虚拟化。
    springz
        49
    springz  
       2019-09-15 19:24:22 +08:00
    KVM 的 CPU 性能损耗在 0.x%
    FreeEx
        50
    FreeEx  
       2019-09-15 19:33:41 +08:00 via iPhone
    我想问下你打算如何在这几个系统下面切换？再来一个笔记本远程操作？现实是无论哪种远程方案，桌面操作都没有原生的好。
    springz
        51
    springz  
       2019-09-15 19:36:44 +08:00
    直通显卡， 显卡直接接线到显示器，外围切换可以切 USB Hub，我用的绿联的多路切换 Hub
    springz
        52
    springz  
       2019-09-15 19:37:00 +08:00
    @FreeEx
    strongcoder
        53
    strongcoder  
       2019-09-15 19:38:22 +08:00   ❤️ 1
    可以实现 我就是这样的
    springz
        54
    springz  
       2019-09-15 19:40:14 +08:00
    我主力工作机是 Vega 64，Windows 上了 1 个 R5 240，其他机器不需要 3D 的都直接 KVM 模拟，SSH 上去或者 VNC
    操作。
    springz
        55
    springz  
       2019-09-15 19:42:33 +08:00
    这么玩的挺多的，虚拟化实在是太方便了。快照很爽。
    strongcoder
        56
    strongcoder  
       2019-09-15 19:43:27 +08:00
    @strongcoder #53 不同的是 我的 WIN7 不会用来打游戏 WIN7 挂载群晖的网络硬盘 直接下载到群辉里面去 主用电脑还是 MBP 偶尔有些东西才去 WIN7 上面处理 关键是这一套 整体功耗才 30W 电费不怕随意开 性能压榨的干干的 8G 充分利用上
    springz
        57
    springz  
       2019-09-15 19:44:26 +08:00
    直通就可以玩游戏了，但是我不玩游戏 Vega 64 是做 opencl 用的
    springz
        58
    springz  
       2019-09-15 19:46:00 +08:00
    做分布式计算的，云服务买的我心疼，自己干脆在家搭了一套，能虚拟化的全虚拟化了。
    springz
        59
    springz  
       2019-09-15 19:50:43 +08:00
    虚拟化黑苹果其实很稳定 https://github.com/kholia/OSX-KVM，我还当主力机用过一段时间。
    springz
        60
    springz  
       2019-09-15 19:51:20 +08:00
    #59 https://github.com/kholia/OSX-KVM
    strongcoder
        61
    strongcoder  
       2019-09-15 19:52:00 +08:00
    这一条不要 可以直接暴风酷播云一套 800 搞定 要 WIN10 打游戏流畅 大概就要在加 6000 了 哈哈 没有吓唬你 毕竟是虚拟机 虽说性能损耗大 所以 想搞黑群晖存储+LEDE+WIN7 下载机 低功耗常年开机的方案 就别把 WIN10 流畅游戏的需求考虑进去 毕竟一个 800 块 35W 功耗 一个五六千 200W 功耗 估计你也有自己的想法了 这玩意玩过一套就会有自己的综合方案了
    springz
        62
    springz  
       2019-09-15 19:54:45 +08:00
    @strongcoder KVM 的 CPU 性能损耗很小很小玩游戏日常使用我感觉如果用二手洋垃圾做没啥问题
    strongcoder
        63
    strongcoder  
       2019-09-15 19:58:09 +08:00
    @springz #62 哈哈哈 本来想打 "虽说性能损失不大" 丢一个字 总的来说 还是综合考虑 用途 开机时长 功耗 和价格来权衡吧
    zuoakang
        64
    zuoakang  
    OP
       2019-09-15 20:33:14 +08:00 via Android
    @strongcoder 哈哈，有道理
    henryshen233
        65
    henryshen233  
       2019-09-15 20:37:03 +08:00
    可以看看支持显卡拓展的的 QNAP x77 系列
    z742364692
        66
    z742364692  
       2019-09-15 20:37:13 +08:00 via iPhone
    高配机当路由，电不要钱么
    henryshen233
        67
    henryshen233  
       2019-09-15 20:39:54 +08:00
    https://www.qnap.com/en/product/ts-677
    henryshen233
        68
    henryshen233  
       2019-09-15 20:46:23 +08:00
    - lede —— 可以被虚拟化出来
    - freenas 或者黑群晖就不必了 —— 本来就是一个 NAS
    - win10 —— 插张显卡直通虚拟化的 Windows 10，开撸，硬盘的话直接 SMB 挂载即可
    - centos 跑一些 web 服务 —— 直接支持 Docker 容器，可以直接部署 Web 服务，数据从 NAS 直接挂载即可
    - win7 下载机、HTPC、远程 mstsc 登录 —— 下载有 Download Station 软件，HTPC 可以买张 PCIe 拓展 HDMI 的，mstsc 抱歉我不懂

    Over all，这机器有点贵
    henryshen233
        69
    henryshen233  
       2019-09-15 20:50:27 +08:00
    如果钱用不完就买这个： https://www.qnap.com/solution/ts-2888x-sneak-preview/en/
    henryshen233
        70
    henryshen233  
       2019-09-15 20:52:10 +08:00
    @henryshen233 #69 https://www.qnap.com/zh-cn/product/ts-2888x
    AllenW
        71
    AllenW  
       2019-09-15 21:15:10 +08:00
    是用 win10 的 hyper 的虚拟机 路由 爱快+lede 当然你要 nas 也是可以的
    这是我写的傻瓜教程 性能一般般 内网传输 90m 左右 有时候能 100 但是不常有
    https://zhuanlan.zhihu.com/p/75496803
    zuoakang
        72
    zuoakang  
    OP
       2019-09-15 21:37:12 +08:00 via Android
    @springz 谢谢，啥时候大佬出个教程和架构图啥的。
    zuoakang
        73
    zuoakang  
    OP
       2019-09-15 21:37:56 +08:00 via Android
    @henryshen233 谢谢
    zuoakang
        74
    zuoakang  
    OP
       2019-09-15 21:48:59 +08:00 via Android
    @strongcoder 可以问下你的配置是怎样的吗？主板 cpu ？
    strongcoder
        75
    strongcoder  
       2019-09-15 22:01:14 +08:00   ❤️ 1
    @zuoakang #74 我的这一套是 2017 年配置的 J3455 主板套装 (对 就是最近 inter 爆出来可能会炸鸡的那一款) 8G 内存 256G SSD 4T HDD 底层虚拟化是 PVE 装了 DSM6.1.7 WIN7 LEDE 全局旁路由模式全局内网 XX 适用 整套下来 2000 块钱左右吧 内网速度 100M/s 左右 整体功耗 15W-35W 之间 个人感觉作为 24 小时开机使用还是可以的 相当于家里常开一盏 30W 的电灯泡了
    springz
        76
    springz  
       2019-09-15 22:34:18 +08:00
    这么多需求，不是小功耗机能搞定的，看需求怎么也需要 20+ 核心的服务器级别的机器了。
    digimoon
        77
    digimoon  
       2019-09-15 22:41:24 +08:00
    不科学，光一个打游戏需要的配置就比你其他几个需求加起来都高，集中在一台机里没有必要
    zuoakang
        78
    zuoakang  
    OP
       2019-09-15 22:47:58 +08:00 via Android
    @strongcoder 这个主板硬解 4K cpu 会卡死哈，双网口吗？还是 PCI 网口？
    bequt
        79
    bequt  
       2019-09-15 23:09:54 +08:00 via Android
    还用爱快呢
    henryshen233
        80
    henryshen233  
       2019-09-15 23:32:05 +08:00 via iPhone
    @strongcoder 你暂时打消了我购买 QNAP 的想法
    Eleutherios
        81
    Eleutherios  
       2019-09-15 23:47:22 +08:00 via Android
    我就提个醒，一定要弄块 HBA 卡直通给 FreeNAS，硬盘接 HBA 卡上。
    Eleutherios
        82
    Eleutherios  
       2019-09-15 23:51:14 +08:00 via Android
    @strongcoder 我在 QNAP J3455 上虚拟了一个 Win10，巨慢无比。虽然应该是 VirtualBox on Linux，不如 ESXi 强劲，但是 1.5 GHz 的主频实在有点儿低啊
    lydasia
        83
    lydasia  
       2019-09-15 23:52:24 +08:00 via Android
    可以，但是万一出点问题巨头疼
    thet
        84
    thet  
       2019-09-15 23:52:37 +08:00 via Android
    可以，我就是这样的
    alphatoad
        85
    alphatoad  
       2019-09-16 03:30:50 +08:00 via iPad
    I’m doing this all the time
    cnnblike
        86
    cnnblike  
       2019-09-16 04:57:50 +08:00
    我软路由崩了一次，之后连修都没得修
    sundev
        87
    sundev  
       2019-09-16 08:43:20 +08:00
    建议把路由独立出来，其他的虚拟化怎么搞都行！
    klgd
        88
    klgd  
       2019-09-16 09:40:17 +08:00
    @strongcoder 正打算入 j3455 呢 爆什么炸鸡了？ 什么新闻？
    ahjsrhj
        89
    ahjsrhj  
       2019-09-16 09:42:09 +08:00
    可以实现 win10 性能肯定要差不少,游戏别想了
    sanryone
        90
    sanryone  
       2019-09-16 09:45:51 +08:00 via Android
    可以吧。之前用过 lede 黑裙 win7 一个 但是总是怕崩。崩了就崩溃了。因为没网没法管理。exsi 中的路由一有问题 谁都费。
    openbsd
        91
    openbsd  
       2019-09-16 10:39:07 +08:00
    PVE 社区版也不是免费的吧 ？
    既然都是 X 版，为啥不 ESXi ？
    springz
        92
    springz  
       2019-09-16 11:08:13 +08:00
    担心崩了的也只是担心 DHCP，这一层我用的三层交换机解决，虚拟化的 OpenWRT 只是负责 NAT、包过滤、翻墙、去广告等等一些功能。一个企业级三层交换机没多少钱。我的 H3C S5120-24P 才 300 多。虚拟机崩了最多也就是上不了公网。内网还是没问题的。
    springz
        93
    springz  
       2019-09-16 11:14:13 +08:00
    @sanryone #90

    @openbsd 是免费的，订阅源收费。用 Proxmox VE 是因为它是方便的 KVM GUI，基于 Debian 配网络啊，ZFS，Ceph 很方便。
    springz
        94
    springz  
       2019-09-16 11:15:26 +08:00
    如果家里节点多，OpenStack 也是推荐的，不过我这配置还没超 100C，啥时候超 100C 了，PVE 不好管理了，我会考虑切成 OpenStack
    Chingim
        95
    Chingim  
       2019-09-16 11:16:00 +08:00
    建议拆分成: 需要 24 小时开机的 /不需要 24 小时开机的.
    发热 /电费 /噪音都要考虑
    springz
        96
    springz  
       2019-09-16 11:18:10 +08:00   ❤️ 1
    @zuoakang 还是尽快发一下预算，还有对噪音和电费敏感不敏感。
    springz
        97
    springz  
       2019-09-16 11:18:42 +08:00   ❤️ 1
    大家都是程序员，机器 24 小时开机没啥坏处，除了费电 @Chingim
    Chingim
        98
    Chingim  
       2019-09-16 11:28:35 +08:00
    @springz 费电+发热+噪音啊, 都是程序员不意味着要住机房里
    xomix
        99
    xomix  
       2019-09-16 11:30:37 +08:00
    windows10 摘出来，其他的虚拟化还是可以的，你还可以组个集群备份啥的
    springz
        100
    springz  
       2019-09-16 11:32:15 +08:00
    噪音前面发过了 #29 #30，自己改下风扇
    1  2  
    ❮ ❯
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2949 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 02:48 · PVG 10:48 · LAX 18:48 · JFK 21:48
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.