V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in,那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动,会导致账号被禁用。
AmoxiDu
V2EX  ›  NAS

All in one 系统 GPU 虚拟化

  •  
  •   AmoxiDu · 2023-03-05 11:03:18 +08:00 · 12860 次点击
    这是一个创建于 635 天前的主题,其中的信息可能已经有所发展或是发生改变。

    请教大佬们,由于在用 NAS(J1900 黑裙)和个人服务器( i3 8100+32G ram )性能不够,计划组一台 13 代 CPU ( i5 13500+64G ram )的 Allinone ,用来完成 NAS 、HTPC 、个人服务器的工作负载。慢组,时间最长能放长到年底,先基于现在硬件价格贴一下配置:

    硬件 规格 价格
    主板 铭瑄终结者 B760m 某多 760
    CPU 13500 QS 某宝 1500
    RAM 金百达银爵 D4 3200 32G x2 某东 900
    电源 鑫谷 AM650w 冰山版 某多 281
    机箱+散热+sata 线 御夫座套餐 某宝 788
    硬盘 HC320 8T x2 、西数蓝盘 2T x2 、NVME 固态 512G x2 、Sata3 固态 1Tx1 已有不计价
    合计 4229

    常见的虚拟化系统 ESXI/WinServer/PVE/Unraid ,哪种系统能较好实现 GPU 虚拟化:需求是 Jellyfin 硬解和虚拟机 windows ( 2-3 台给家人用)能共用显卡

    • 已知 ESXI 8.0 不支持 13 代 CPU ,先出局。
    • 已知 Unraid 6.11 的 GPU 虚拟化插件 Intel GVT-g 仅支持到 10 代,也出局。

    留下 WinServer 、PVE 不懂,请大佬们指点一哈。

    43 条回复    2023-12-20 14:58:34 +08:00
    michaelzxp
        1
    michaelzxp  
       2023-03-05 11:21:03 +08:00
    我也在弄,最难决定的就是功耗长期电费
    Damn
        2
    Damn  
       2023-03-05 11:21:43 +08:00
    12 代 sr-iov 遥遥无期,也出局
    n/a 的 GPU 虚拟化要 license ,也出局
    结论:别用了。
    AmoxiDu
        3
    AmoxiDu  
    OP
       2023-03-05 11:26:03 +08:00 via iPhone
    @Damn 哈哈,劝退😂
    AmoxiDu
        4
    AmoxiDu  
    OP
       2023-03-05 11:28:08 +08:00 via iPhone
    @michaelzxp 我在用的方案里,功耗大头还是虚拟机,在 esxi 设置上了定时关机,没具体测过,但是看每月电费账单感觉还行。
    vsomeone
        5
    vsomeone  
       2023-03-05 11:33:52 +08:00
    GPU 虚拟化都要花钱买 license 的,而且基本上没有个人授权
    sen506
        6
    sen506  
       2023-03-05 11:37:01 +08:00 via Android   ❤️ 1
    12 代及以上的 gpu 虚拟化要用到 sriov ,这个官方的驱动,应该是今年 q4 才正式发布。
    https://github.com/intel/linux-intel-lts/issues/33


    想提前用上的话,也可以尝试下这个
    https://github.com/strongtz/i915-sriov-dkms

    https://forum.proxmox.com/threads/passthrough-igpu-alder-lake-intel-12th-via-proxmox-whats-next.120947/
    Augix
        7
    Augix  
       2023-03-05 11:43:24 +08:00   ❤️ 7
    个人在用的方案是 NVIDIA vGPU ,2080Ti + vgpu_unlock + PVE 虚拟化带了 2 台 Linux 和 3 台 Windows
    相关教程: https://gitlab.com/polloloco/vgpu-proxmox
    https://wvthoog.nl/proxmox-7-vgpu-v2/
    vGPU License 的话现在也可以无限白嫖
    efsg
        8
    efsg  
       2023-03-05 11:52:06 +08:00
    ES 的 13500 涨到 1500 就别买了,前两个月才 1300
    ixixi
        9
    ixixi  
       2023-03-05 12:10:37 +08:00
    觉得最省心的是 WinServer 安装 Jellyfin;
    然后在 win 上安装虚拟机 开发用
    PowerDi
        10
    PowerDi  
       2023-03-05 12:55:35 +08:00
    @Augix 您好,请问是否可以付费共用。训点小模型使用
    AmoxiDu
        11
    AmoxiDu  
    OP
       2023-03-05 13:06:39 +08:00
    @sen506 简单了解了一下, 大佬贴出的 i915-sriov-dkms 方案应该是目前最适用于 Allinone 的了。也搜到有博主写的在 PVE 下的安装指南,贴出来供朋友们参考: https://foxi.buduanwang.vip/virtualization/pve/2695.html/
    @Augix N 卡在家用 Allinone 环境有点费电,不过我这套方案可以上独显,如果上面核显无法实现虚拟化,可以考虑买个 1660s 矿卡使用 vgpu_unlock 。
    @efsg 1500 这个是 QS 正显。
    @ixixi 如果没有多台 Windows 虚拟机需要,确实宿主机用 WinServer 最方便,性能也好。有的话就不行了,没有显卡的 Windows 虚拟机一卡一卡的。

    感谢各位朋友的回复,后面我有时间折腾成功了,再来补充说明自己使用的方案。
    billytom
        12
    billytom  
       2023-03-05 14:26:00 +08:00 via Android
    13 代 cpu 的 arc gpu 核心,要在 linux 里方便驱动,你最好多等一年吧
    Eytoyes
        13
    Eytoyes  
       2023-03-05 14:37:37 +08:00
    12 代核显虚拟化折腾一圈没解决,后来装的 ltsc 用,jellyfin 用 intel 核显解码很好,nas 用的黑裙 7.1 虚拟化只能靠 VMware workstation ,更没有硬盘直通

    后悔没搞 i3-10105 ,但是换来非常安静的散热,稳定性也还不错
    photon006
        14
    photon006  
       2023-03-05 14:42:30 +08:00
    分给多台虚拟机可以插多张显卡,pve 分别直通给多个 vm ,我以前试过挖矿,性能没有损失,跟物理机一样:

    [img][/img]

    30 系显卡比较厚,我主板 b550 ,2 个显卡插槽距离不够,有一张还是用延长线外接放地上的。
    herozzm
        15
    herozzm  
       2023-03-05 14:44:18 +08:00
    既然是 GPU 虚拟化,为什么没有显卡
    fengyaochen
        16
    fengyaochen  
       2023-03-05 14:55:31 +08:00
    GPU 虚拟化又没办法输出画面,你怎么给你家人用?想要给家人用 GPU 必须直通然后才能输出画面,那样 2-3 台 windows 就需要 2-3 张独立显卡
    piku
        17
    piku  
       2023-03-05 16:14:44 +08:00 via Android
    最近也在折腾这个问题,剁手了 k4200 (六百多)试图试试,结果家里 gen8 不兼容(最高支持 k2200 )
    piku
        18
    piku  
       2023-03-05 16:15:52 +08:00 via Android
    就我所知对显卡虚拟化 PVE 支持比较好
    zx900930
        19
    zx900930  
       2023-03-05 16:26:02 +08:00
    12 代可以 sr-iov 了
    我是用 pve+12400, 打了 i915-sriov-dkms 补丁

    自带的 hd7xx 独显 jellyfin 同步硬解 4k x 3(我自己的测试样本单 stream 码率不超过 80Mbps)毫无压力还支持 av1

    注意
    1.win 客户端选 win10 不要选 win11!!
    2.linux 客户端最好选 ubuntu, arch 之类内核稍微新一点的, 不然可能打不上那个 i915-sriov-dkms 补丁造成无法直通

    但是, 因为总体而言 hd7xx 系列的核显性能就那样, 你多个 vgpu 同时使用的时候很快就 100%了

    比如你一个 vgpu 在给 jellyfin 解码, 另一个 vgpu 在 windows 底下玩大型 3D 游戏, 那么直接 jellyfin 解码变成 10fps 左右, 那个 3D 游戏估计也就是 20fps 左右, 所以真要想超过 4 个客户端同时使用, 最好还是插个显卡分摊一下.
    hez2010
        20
    hez2010  
       2023-03-05 17:44:55 +08:00 via Android
    试试 Windows Server 2022 的 Hyper-V 虚拟化?可以开启 GPU-PV 就有完整的 GPU 虚拟化,几乎不损失性能,不过对 Linux 需要换成 WSL2 的内核才能支持。
    deorth
        21
    deorth  
       2023-03-05 17:54:17 +08:00 via Android
    没钱怎样都出局
    xnxy
        22
    xnxy  
       2023-03-05 18:16:31 +08:00
    ubraid
    xnxy
        23
    xnxy  
       2023-03-05 18:17:31 +08:00
    还是换回 10 代之前的 u
    feather12315
        24
    feather12315  
       2023-03-05 19:24:44 +08:00 via Android
    Intel GPU 用 PVE 可以做 GPU 直通先凑合下
    thtznet
        25
    thtznet  
       2023-03-05 20:05:36 +08:00
    HTPC 现在随便买个盒子,配置安全足够,可玩性高多了,没必要集成在虚拟机里,属于自找麻烦的需求。NAS 和 小服务器用虚拟化集成在一起还算搭得上边。Windows 没许可,如果真打算 all in one 系统肯定不能吃配置,i5 这种级别还是 linux 吧,也就 pve 了,13 代支持也不行,但是总归慢慢会更新上来的。
    wingerwwang
        26
    wingerwwang  
       2023-03-05 20:59:39 +08:00 via iPhone
    我的 10 代 win-server 最近崩了一次之后 jellyfin 和 plex 都装不上了…官方安装包装上之后卡死没反应…换过硬盘重装过很多次系统都没有。太奇怪了,日志发论坛也没人理我。
    inorobot
        27
    inorobot  
       2023-03-05 23:23:28 +08:00 via iPhone
    一直不太理解解码的应用场景,外网流量看视频?我配了台 AIO ,4090 单卡直通,其实性能有点浪费,但是消费卡不支持 vGPU ,只能用的时候开对应的虚拟机了
    ltkun
        28
    ltkun  
       2023-03-05 23:26:49 +08:00 via Android
    消费卡也支持的不过不支持最新的 老款 10xx 肯定可以 vgpu
    hanssx
        29
    hanssx  
       2023-03-05 23:27:02 +08:00
    @Augix 请教个问题,vGPU 的话,能用 2080ti 的视频输出接口吗,比如 HDMI DP 之类,好像用不了?
    Linken404
        30
    Linken404  
       2023-03-06 01:40:01 +08:00
    最简单稳定的反而是多插几块亮机卡直接直通吧……
    bobryjosin
        31
    bobryjosin  
       2023-03-06 07:14:55 +08:00 via Android
    用 pve 做 gpu 直通吧,也可以 lxc 容器映射宿主机 gpu ,损耗也不大,或者搞张 p40 用 vgpu 试用授权,每天重启刷新授权也是可行的,消费级的卡可以用 vgpu_unlock 伪装成专业卡使用 vgpu 功能,后两者都很麻烦,建议使用前两种。
    waiY
        32
    waiY  
       2023-03-06 08:52:29 +08:00 via Android
    12 代核显可以用 sr-iov ,我现在 12100 成功虚拟出 gpu 给 ubuntu 和 win 。
    pve 版本 7.3 ,内核 6.1 ,安装 i915-sriov-dkms
    虚拟机 win10 ,需要官网下载显卡驱动
    虚拟机 ubuntu ,内核 6.2 ,虚拟机也要安装 i915-sriov-dkms
    可以实现 ubuntu 的 jellydin 核显硬解 + win10 核显硬解
    abc0123xyz
        33
    abc0123xyz  
       2023-03-06 09:12:24 +08:00
    KKLeon
        34
    KKLeon  
       2023-03-06 11:27:59 +08:00
    @inorobot 内网在电视上看也会遇到视频,音频,字幕格式不支持的情况,这时候都会转码播放。而 intel 核显在这方面非常有优势。
    KKLeon
        35
    KKLeon  
       2023-03-06 11:32:42 +08:00
    13 代的 es 处理器也可以看看啊,1900 的 13900es ,不比你这个性能强多了。Q0L5 也行
    photon006
        36
    photon006  
       2023-03-06 13:52:53 +08:00
    @KKLeon

    赞成 25 楼,随便找个外贸盒子刷 coreelec 就能流畅看片,比如 hk1 box 、x96 max 解码性能足够,这需求没必要折腾虚拟机,甚至几十块的 N1 盒子都能满足你。

    我最初 N1 用了一年,嫌弃 2g 内存小,21 年花¥ 246 买的 x96 max 64g 千兆版,过了 2 年到现在居然还涨价,解码 4k 流畅无鸭梨,coreelec 刷在 u 盘启动,机身自带 android 系统也能看电视,双系统随意切换。
    KKLeon
        37
    KKLeon  
       2023-03-06 18:56:39 +08:00
    @photon006 OP 的需求又不仅仅是 HTPC ,只是升级一下原来的服务器,顺便把 htpc 体验提升一下。并且你说的 N1 是客户端的事儿,服务端还得是搭载 x86 上,跟 op 这个不是冲突的概念。就像他主要需要一块高性能的多核 cpu ,比如 13500qs ,顺带着送了一个 uhd770 核显,不用白不用。
    libook
        38
    libook  
       2023-03-08 10:27:13 +08:00
    我一直觉得虚拟化反而不灵活;因为一方面没有实现物理隔离,如果折腾硬件还是要全部关机;另一方面通常无法准确预计未来资源需全,一旦某一部分资源吃紧就要折腾重新分配资源。私以为虚拟化的价值在于同时跑多个互相不兼容的平台(比如 Linux+Windows ),或者有较高频率的动态调整虚拟机的需要。

    所以我目前用的方案就是一个 Debian 系统,装 Docker ,所有服务跑在 Docker 里,如果磁盘阵列在同一台机器上,还可以直接映射卷,不需要考虑两个虚拟机之间互通的问题。装上 nvidia-docker 和驱动就可以在 docker 里调用 GPU 。

    目前我机子上用到 GPU 的有 Jellyfin 和 Stable Diffusion 。
    RichardB
        39
    RichardB  
       2023-03-11 09:30:36 +08:00
    现在有支持 iGPU SR-IOV 虚拟化的 Unraid 6.11 了,可以不用出局了。
    https://github.com/zhtengw/i915-sriov-dkms/releases/tag/v5.19-unraid
    v2leekaif
        40
    v2leekaif  
       2023-05-01 22:42:05 +08:00 via iPhone
    板 u 和我想升级的差不多。不过我是想用 13500-13700 的盒装,盒装有保修,体质也会好点。
    DevilAntivirus
        41
    DevilAntivirus  
       2023-05-06 16:16:34 +08:00
    @Augix #7 NVIDIA 的 vGPU License 怎么无限白嫖?试用授权然后每天重启刷新吗?
    la0wei
        42
    la0wei  
       2023-05-15 11:43:23 +08:00
    这帖挺好。前几天鼓捣显卡虚拟化,想把旧主机利用起来,直到操作才发现很多实现是和硬件平台绑定的。比如 gvt-g 似乎要 intel 5 代 cpu 起步,到更新的 cpu 后,又有不同的方案。
    很多帖子只说某某系统或软件可以实现显卡虚拟化,但是没有硬件平台的信息,让人白费不少时间。
    BinaryBro
        43
    BinaryBro  
       345 天前
    @Augix v 友,想请教一下,你还有 nvidia 16.1 host-driver/vgpu-linux-kvm 的驱动吗,我买了张 tesla p4 但是在网上只下载保存了 16.2 驱动,使用 fastapi-dls 的镜像创建 license server 时,无法授权,看作者说只测试到 16.1 的版本。

    所以想问问兄弟有无 16.1 的 host/guest vgpu driver 提供一下
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5409 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 09:19 · PVG 17:19 · LAX 01:19 · JFK 04:19
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.