198 一个号，这个价格比很多网游账号的价值都高啊

本地跑大模型还得是 Blackwell 架构的 RTX Pro 6000 ，直接上 NVFP4 量化，真的就一代架构一代神

从 CTO 角度来说难度可能不大，比如用绞杀者模式逐步替换 API ，结合流量镜像方案把生产流量同时导入测试环境的新老系统看数据对比来验证防止翻车等，手段很多。

如果是从培养你角度让你直接参考 https://typescript-is-like-csharp.chrlschn.dev/pages/intro-and-motivation.html 这种方便 TypeScript 熟练工快速学习 C# 的文档两天就能上手读懂项目，渐进式重构问题也不大。

但是选择的方案这么激进，对你来说难度就很大了，起码出一个风险应对方案来，除非业务规模很小，项目也不大。

同样是选择 AI 方案，还不如先让 AI 把当前系统优化好。

最好确认是什么蛇，我之前在农村路骑车的时候碰到一条好大的蛇，作死上去拍了点视频，发群里了才知道是剧毒的银环蛇

你们少了一个技术能力过硬的架构师，而且你们后端太菜了，不然的话让后端从 PHP 转 Node 没毛病很顺利的。

我以前带团队就是从 PHP 转 Node 的，把语言特性、相似函数、相似库、各 Web 框架相似性等细节全部拉出来对比讲透，不用 3 天大家就可以开干了，然后过程中跟进代码和 review 就完事了。有 AI 之后更方便，现在技术栈我都换了几轮了。

用渐进式重构方案，一部分接口替换完之后流量重定向到新代码，要是有问题就把流量切回去，都是一套工程化体系的东西，要是基建水平不行那还得把基建搞好。

说白了你们后端的连 AI 都比不过，原地踏步，一潭死水，不过也不奇怪，毕竟现在还在坚守用 PHP 的公司绝大部分也就这样了，就连百度早在多年前就禁止新项目使用 PHP 了。

别买小米，24 小时开机的坏了 2 个了，都是过保就坏

提供一个思路：找有垃圾分类而且底商有钱大妈这种菜市的小区，员工有概率在晚上 10 点半拖着卖不出的菜连包装都不拆丢进厨余垃圾桶里，捡到就是零成本

预算鸡肋不如买 api ，而且你低估了 Mac Studio 在跑大模型这件事上是极致性价比，官方翻新的 Mac Studio 库存已经 3 个月没补过货了，坐等 M5 Ultra 是最好的选择，因为曾经的 prefill 短板已经不短了。

跑大模型不是说你现在部署了之后就不动了，非要选择方案，当前性价比最高的是 DFlash + Qwen3.6 27B 方案，人家在单张 3090 上优化到极致跑的，直接抄作业就行。

但是，如果 2 个月之后出了一个开源模型，能力比你现在跑的模型提升 20%～ 30%，部分能力追平 Opus 4.7 ，体积在 40 ～ 60B 这个尺寸，你手头的硬件跑不动了，升级空间也没了，你怎么想。
很遗憾，现在的模型就是月更，你无法预计到下一个月有什么模型出现，它们的能力又达到了什么程度。

而且从已有的信息来看，你对模型类型（ Dense / Moe 和显存带宽 or 内存带宽的关系是如何影响到 token/s 的）、prefill 速度取决于什么、模型尺寸和不同的量化方案（ Q4_K_M/Q4_K_X_L/NVFP4/MXFP4/Q5/Q6/Q8/FP8 的差异）和上下文大小对于显存占用是如何计算的，这些信息你都没有任何概念。
更别说评估你的任务需要注意模型 benchmark 分数的哪几项指标，同时这些指标在能选的模型里哪个最好。

当你解了之后，你的结论就回到了我这条评论的第一句话了。

@mewking 就是这个啊 https://huggingface.co/unsloth/Qwen3.6-27B-UD-MLX-NVFP4
从命名风格来说 UD 就是动态量化，带 MLX 的就是用 Apple 的 MLX 跑的，NVFP4 作为压缩保存的格式。

这个测试也太不严谨了。

开源模型的参数是有推荐的，不同的模型对于不同的任务场景，temperature 、top_p 、top_k 、min_p 、presence_penalty 、repetition_penalty 的数值都不同，你用网页版都不知道人家默认是针对什么场景配置的，做测试对比是要根据你自己的任务场景去设置的。

甚至是量化部署方案，比如同样 NVFP4 的量化，还要看用了什么数据集校准。

我就这么说吧，我本地部署的 MiniMax M2.7 （ nvidia 放出的 NVFP4 量化）和 Qwen 3.6 35B-A3B （ RedHatAI 放出的 NVFP4 量化）、Qwen 3.6 27B （ mlx-community 的 NVFP4 量化和 unsloth 的 UD + NVFP4 ），分别按照各模型文档的参数推荐来用对话模式按照你那一句话 prompt ，写出来的 html 都和你提到能上桌的模型都差不多。

@superkkk 跑原精度的不现实啊，nvfp4 量化后的基准和原精度差距不到 1%，nvfp4 还可以用上新的架构优势，prefill 速度大幅度提高，而且可以开的 KV Cache 也大得多，可以容纳更多的用户使用。

单用户上下文 3k 也不现实，龙虾一个初始会话都是 12k 左右起步。我现在基于闲置算力开了个小规模用的 API ，看平时的统计，基本上 10k 上下文涨到 100k 也就 40 个请求左右。如果过一段时间用户不请求了可能 KV Cache 就释放掉了，然后用户再请求过来的时候又要从头开始 prefill 了，也会有影响的。

8 卡 H20 跑 MiniMax 撑死满足 80 个用户并发使用，而且有一个 10w 级别的上下文 prefill 阶段就很慢了，拖死其他用户，我的服务器就是 8 卡 H20 。

你要租的话可以先从 2 张 RTX Pro 6000 开始，2 张就可以跑 MiniMax M2.7 的 nvfp4 量化了，10w 级别的上下文无 KV Cache 下 prefill 要 40 秒左右，你可以算算能服务多少个用户。

看你自己技术品味。

喜欢 Java 系：用 Nest.js 。印象中 Nest.js 是 Node 中第一个出现的纯 TypeScript 的后端框架，在早期可以用它得到比较好的类型提示的收益，现在收益不大，而且 TypeScript 和 Java 在运行阶段有本质的不同，Nest.js 属于过度设计了，很多操作脱裤子放屁。所以我后面把 Nest.js 的项目都迁移到 Hono 了，顺便迁移到 Deno 减少了很多依赖。

喜欢 Laravel/Ruby On Rails：用 AdonisJS 。它前几个版本一直没有拥抱 TypeScript ，现在的版本拥抱了。

想要部署在 edge 得到弹性伸缩和打不死：选 Hono 。可以跑在 Cloudflare Worker 上，Cloudflare 不死你就不死，连服务器都不用维护，减少了非常多的攻击面。

想要服务端渲染做 SEO：选 Deno 的 Fresh 。讲真 Node 从 v16 到现在的更新一点都不吸引人，大家都是套 V8 ，Deno 在生产可靠性比 Bun 好，API 比 Node 友好，非常适合做减法，哪怕是纯后端我现在也都是用 Deno 跑…哦不对，我新开的项目都去用 Go 了，逃（

@mewking 对，轮子和缝隙是平行，轮胎宽度不够骑上去就容易打滑。除了高低缝隙，井盖也是危险项，突起的边缘和那种川字型铺设在骑行道前进方向的排水井盖，公路车的轮子卡进去的概率也很高。

乐，建议结合 https://v2ex.com/t/1159283 一起看

要么山地车，要么瓜车。

1500 价位：
坎普（ CAMP ） GX300 近期低价在 1600 元左右，可以在什么值得买上面看下攻略；
佳沃 JAVA ALBA ，1599 元


“不会有太烂的路”是个迷惑项，绿道的凸起形成高低缝、砖头铺的路裂开有高低砖都可能让公路车摔一下，过节放烟花捆烟花的那个铁丝随便丢在水道也可能扎爆公路车的胎。

我去年骑了 7000+公里，单次骑 30km 、50km 、80km 的河边水道线路，用山地车骑的有 5000+公里从没出过事，但是骑迪卡侬 Riverside 900 这个 38C 胎的都被高低缝摔过 2 次、绿道滑过 2 次。

官方算力不够所以可能降智了，说不定 together.ai 和 fireworks.ai 这种自己部署的会好一点，毕竟海外不缺算力。
我是自建的，用了 4 张 H20 跑 MiniMax M2.5 的 FP8 量化，挺好用的，无限 token 给了我很大想象力。再低成本一点可以 2 张 RTX Pro 6000 跑 NVFP4 ，或者等 M5 Ultra 出来，不要买 M5 之前的版本因为 prefill 慢。