DIY NAS (All in boom) 回来交作业了

[Adamdad]

All in Boom 组装完成汇报及踩坑经验分享

大家好，我的 All in boom 组装完成已经有一段时间了，想给大家汇报一下情况，以及期间所踩的坑。如果有朋友能从中得到经验就最好不过了。
原帖链接： 想给家里配一台 NAS (All in boom)，动手前想让各位大佬评论一下

硬件配置部分

• 机箱：安钛克 P101-S
• CPU：
  • CC150
  • 另有一块 i3-8100 用于调试以及第二台 NAS
• 主板：Z390 太极 Ultimate
  • 板载有 AQUANTIA® / Marvell 万兆网卡
  • 两个 Intel 千兆网卡
• 内存：32GB × 4 （金百达银爵电竞散热款）
• 硬盘：
  • 16TB × 4 （京东自营的东芝 MG08 ）
  • 系统盘：512GB NVME 固态硬盘
• 额外网卡：
  • 网卡 1：2.5G 网卡 TL-NG421
  • 网卡 2：双口 SFP 万兆网卡 迈络思 CX4121A
• 交换机：磊科 GS10
  • 8 个 2.5G 电口
  • 2 个 万兆 SFP
• UPS：APC BK650M2-CH

系统架构

• 主系统 PVE：
  • OPENWRT 虚拟机直通了：
    • 2.5G 网卡（做 WAN 口）
    • 万兆 SFP （做 LAN 口）
  • TrueNAS Scale 虚拟机直通了：
    • 主板的 SATA
    • 万兆 SFP
  • Windows 虚拟机直通了：
    • Marvell 万兆网卡
    • 主板的无线网卡
• PVE 管理网卡：主板上的其中一个千兆网卡

我踩过的坑

1. 内存条问题

   • 问题描述：刚开始贪便宜买了爱国者的内存条。在京东自营上买了 4 根 16GB 的爱国者内存条，折磨了我十多天。当测试的 IO 增大时，TrueNAS Scale 系统与主系统就会各种重启，还留不下什么有效的日志。重装了多次系统后，怀疑是内存条的问题。使用 MemTest86 测试后发现内存条确实有问题。
   • 解决方案：更换为 金百达 的内存条，通过了 MemTest86 测试，之前的问题再也没出现过。

2. PVE 上为 TrueNAS Scale 创建虚拟硬盘

   • 问题描述：用两个 512GB 的 NVME 固态硬盘作为 PVE 系统盘（我理解是相当于运行在 “RAID1” 模式，安装 PVE 时只能选 Btrfs ，不给选 ZFS ，安装器给出的解释是两个固态硬盘型号不一样）。为 TrueNAS Scale 创建虚拟硬盘作为 SLOG 、Metadata 和去重。这样做一旦 NVME 硬盘坏了或者 PVE 系统坏了，ZFS 池可能无法恢复。同时，这给主系统盘带来了很大的 IO 压力，加上内存条有问题，导致系统经常死机。
   • 解决方案：改用更换内存条后，我不再使用虚拟硬盘给 TrueNAS Scale 当特殊设备，这样至少机械硬盘没有挂掉的情况下，可以通过新的 TrueNAS Scale 系统导入池保住数据。

3. 主板上的 AQUANTIA® / Marvell 万兆网卡

   • 问题描述：大多数网上的 OPENWRT 固件无法驱动该网卡，即使我后期编译好了自己选驱动的固件，也没有继续尝试，因为已经使用了 TL-NG421 和 CX4121A ，没必要浪费时间了。

4. 网卡 SR-IOV

   • 问题描述：虽然可以实现，但在硬件足够的情况下，直接直通更为简便。由于第一个大坑浪费了太多时间和精力，后期不太想折腾这种可能引入不稳定因素但收益不大的配置。

其他

许多老哥提到不要把路由器系统放到 All in Boom 里，非常感谢各位的血泪教训。不过我真的喜欢 x86 的性能，所以还是这么做了。同时准备了一台 ARM 的软路由在旁边，一旦出事，只需要拔两根线插两根线，作为一种补救措施。

求助问题

最后我有一个问题问问大家：

现在用软路由科学的最新最稳定的方式/软件/协议是什么？
我坐标某河北小城，用 SSR+ 和 Passwxll 以及 OpenClxsh 配合 V 都不好使，订阅的 SS 也不行，配合 mosdns 也不行，太难受了。急需大神出出主意。(同样的 V ，手机上用软件就可以，非常神奇，我猜测是 DNS 这部分没弄好，但是我也不太会这部分)

感谢大家的帮助！

[MYDB]

针对结尾，没有稳定的方案，只能不断根据实际网络结构和需求优化，比如 clash: 下载机场订阅的配置后根据 https://wiki.metacubex.one/config/手动修改需要修改的部分。其他的应该也都有 wiki 或者 readme

[linghan]

我也想知道各位软路由科学上网咋配置的，我自己搭的用来也很难受，最近用 pve 装了个 op ，用的 Mihomo 做代理，发现油管正常，但是 tg 没法用

[saobilin]

@linghan passwall2 我感觉蛮好用的，tcp 全端口转发刚好不用配置 ssh 的代理服务器，我这边油管和 tg 都能用

[vegetablebird]

看得我口水流出来了，好强大啊这配置！

[COW]

太长不看，就问问电费多少

[WizardLeo]

结尾部分，建议用 singbox"或者 op 上的图形化界面 homeproxy"，比 xray 系稳定。

[seki]

MG08 在这机箱里面噪音大吗，待机和工作分开来看

[linghan]

@saobilin 好的，感谢，我试试看

[xuhuanzy]

passwall2 吧，openclash 纯反人类

[devli]

我用的 singbox ，花了大概一周时间从头学习，然后自己手撸规则，把自己访问的网站都定制成了规则集，精确分流，目前用着很舒服。我也是 pve ，创建了 openwrt 的 lxc 容器做旁路由，因为是 x86 ，所以无脑 tun 模式，这个旁路由完全可以换成任意 linux 发行版。

[Misyo]

Mihomo proxy 可以了解一下，很好用

[morota]

用 singbox+passwall2
最好是装个旁路由，iStoreOS 之类的，跑在旁路由上，然后需要科学的机器网关指到旁路由

[badgv]

主路由 ros ，做对所有内网设备做 udp53 的 mangle 规则标记路由给旁路 openwrt ，op 使用 psw2 ，基于 geosite 和自己添加域名的 fakeip 模式，ros 路由 198.18 段 ip 给 op ，所有内网设备网关均为主路由 ros ，旁路 op 随时离线都丝毫不影响内网设备上网，op 是群晖 920+用虚拟机跑的，还有个 n1 的 docker op 做备用，群晖 op 掉线 ros 自动切换路由给 n1-op ，ipv6 是 ros 给全内网设备做的 SLAAC(禁止分配 ipv6 的 DNS)，仅供参考

[badgv]

@linghan tg 是用的 ip ，如果你代理软件支持开 socks5 代理，那给 tg 配置一下 socks5 代理就行了，pc 和手机端的 tg 都支持 socks5 设置

[lolizeppelin]

都 All in boom 为什么不直接用 linux 还用什么软路由？

[sakuramanstein]

这个 cpu 不是没有核显么

[awinds]

用过 pve 装东西的痛苦，升级系统起来特别麻烦

[limitsy]

既然已经 PVE 了。为啥 TrueNAS 还选 Scale 不选 core ？

[ScotGu]

PVE 套 TrueNAS Scale 就是为了 ZFS 么？ PVE8.2 本身不是支持创建 ZFS 池嘛？

[sunnysab]

我也是 安钛克 P101-S 。请问你的机箱背板走 SATA 线方便吗？怎么为感觉背板有点窄…

[sanquan]

@linghan tg 没有域名 你要把特殊的 ip 驾到规则里

[4NF]

我是 J4125 ALL IN BOOM

[Thymolblue]

想问一下楼主这一套不含机械硬盘整机功耗是多少？
目前我预想的方案是 B550+5700X ，然后查到整机待机功耗是六七十瓦，由于制程原因好像功耗下不去。现在正准备等明年的 B850+X9700 的方案。

[fionasit007]

PVE 装虚拟机是不是电脑不能经常开关机啊，我是需要的时候再开机，然后在 pve 里转了个黑群晖，但是经常 pve 起不来，报硬盘什么的出错

[Adamdad]

@MYDB 感谢，你说的对，没有一劳永逸的方法，那个东西永远在变，好在新的技术也一直在涌现出来。我从 vmess 的换到了 vless 之后目前可以正常用了，不知道能撑几天，但是我会花时间把新出现的都学一学。

[Adamdad]

@vegetablebird 还好，哈哈，还算够用了，我也不需要很新的平台，老平台核心数和内存都够了，再加上 Z390 老板子，扩展硬件也够用了。

[Adamdad]

@COW 没有功耗计，不知道，抱一丝

[Adamdad]

@WizardLeo 感谢，最近一定学一下 singbox

[Adamdad]

@seki 这一套放在餐桌旁边（光纤入户在这里），白天在客厅里听不到声音，只有夜深人静坐在餐桌旁才能听到。硬盘工作时坐在旁边，白天也能听到的。

[Adamdad]

@xuhuanzy 确实没玩明白 openclash ，ssr+ 和 passwall2 感觉设计得还比较符合直觉

[Adamdad]

@devli 谢谢，我也去学习一下 singbox

[Adamdad]

@Misyo 感谢，我去学习一下

[Adamdad]

@morota 感谢，必须学习一下 singbox ！但是目前还没想弄旁路由，想用 x86 软路由搞定一切得了，目前运行好几周没呀问题。还有一个 arm 软路由，真 boom 了手动换上。

[Adamdad]

@badgv 有点儿意思，ros 和 op 相比的优势是什么呢？

[Adamdad]

@lolizeppelin 我不知道你说的用 Linux 做路由器设置起来有多便利，也不知道性能能差多少，但我觉得用已经成熟的软路由系统对我来说还是比较方便的，各种功能都有，也方便设置。

[Adamdad]

@sakuramanstein 没有，我也不需要核显。我没有视频转码的需求，我也不太懂为啥下载下来的影视要转码，直接让播放设备解码不就得了。我也不需要异地远程观看家里的影视，回家舒舒服服地看不香吗。我的 Windows 也不需要输出视频，只需要能远程桌面就够了。唯一难受的就是前期被爱国者垃圾内存折磨了很久，各种重装主系统都需要拆换 CPU... 但是成功稳定运行之后，我确实不需要核显。

[Adamdad]

@awinds 还好，装好折腾好后也没想过再升级了

[Adamdad]

@limitsy 最新的 TrueNAS Scale 可以运行 Docker 。以及，我觉得 Scale 稳定性和性能估计已经够我用了，对我来说可能没必要搞 Core ，Scale 毕竟是 Linux ，啥都方便，据说 Core 的那个命令都有很多不同，更别提别的。我的备用 NAS 可以考虑上 Core

[Adamdad]

@ScotGu 我知道 PVE 可以搞 ZFS ，我还知道 PVE 还能折腾 Docker 和 OpenWRT 呢，但是也没必要 PVE 承担全部，我需要 PVE 管虚拟机，这就够了，NAS 功能和 Docker 交给专业的 TrueNAS Scale ，路由交给 OpenWRT 虚拟机，我网卡也多，给它们一个个都直通了硬件网卡，这样谁崩了也不影响另一个

[Adamdad]

@sunnysab 我觉得还行啊，反正就往里面挤就好了... 而且目前我只有 4 个硬盘

[Adamdad]

@4NF nice, 香香的

[Adamdad]

@Thymolblue 我没有功耗计，而且也佛系了懒得测... 我这套估计功耗不会太低，但至少我想实现的功能都有了，也没有说有任何一个非必需的又非常耗电的部分，我也满意了。人生苦短，我选择舍弃一点点。太追求完美还是比较难做到的，我这套我都在脑子里想了一年了，动手的时候也还是遇到了各种问题，好在都及时解决了。比如那个板载万兆网卡我以为就又省钱又省电，还省 pcie ，我还以为虚拟机之间搞软内网再加上这一个万兆网卡就全都够了。结果啥都没省，我现在把它直通给 Windows 10 都会出各种问题。比如那个爱国者内存条，是挺便宜的，但是折腾了我十天。谁家好人会想到问题出在内存条上呀，都是默认京东自营买回来没问题的。32GB 单条的性价比低很多，总共可能多花了一千，但是也还好了。如果一开始有人能告诉我我多花这一千能省十天的折腾，我绝对选择多花这一千。也不白花，总内存还大了呢。

[badgv]

@Adamdad ros 流量直观，配置策略路由方便，只从网络防火墙角度管理来看就是它的优势，还有独有的 pcc 多线分流负载，这点是吊打 op 的各种多线插件(爱快都不如)

[4NF]

@Adamdad #41 香爆了，除了硬盘拓展不太方便

[Adamdad]

@fionasit007 一般来说都是不关机的。起不来我建议仔细研究一下报错