V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  clemente  ›  全部回复第 5 页 / 共 58 页
回复总数  1152
1  2  3  4  5  6  7  8  9  10 ... 58  
8 月 19 日
回复了 youngforever 创建的主题 吐槽 现在小区房的隔音问题真的无解了
@heftyMan 哥们国标在那里
8 月 19 日
回复了 youngforever 创建的主题 吐槽 现在小区房的隔音问题真的无解了
@iixy 韩国和日本的公寓建筑是的。一户建不知道
8 月 19 日
回复了 youngforever 创建的主题 吐槽 现在小区房的隔音问题真的无解了
@Danswerme 你可以去工地看看 随便找个工人问下
@wwhc llama.cpp 是不是 agent 配套不给力
RTX PRO 5000 你是自己买的嘛 本地部署 耗电和维护如何
8 月 19 日
回复了 youngforever 创建的主题 吐槽 现在小区房的隔音问题真的无解了
中国( 2025 新规新房) 100mm ( 10cm )
无奈
8 月 19 日
回复了 youngforever 创建的主题 吐槽 现在小区房的隔音问题真的无解了
房地产国标 8cm 楼板厚度

韩国和日本是 20cm
@ponelyr 我们现在组内只 review 不搓代码,debug 也需要人操控 ai 去实现
每次分配给你的 gpu 资源池 又不是同一个。。。
@wwhc


对话中双方的具体错漏分析讨论角色观点/依据分析与评价 wwhc 看到 HF 文件列表总和为 167GB ,就认为只要 167GB 显存即可运行。
概念混淆:混淆了“磁盘文件体积”与“运行时显存需求”。没有考虑到 KV Cache 、并发数( Batch Size )、上下文长度以及加载精度对显存的放大效应。



clemente 提醒“满血 BF16 需求远超文件体积”、“运行显存还需考虑 KV Cache”。
思路正确:深刻理解 LLM 推理的显存瓶颈不仅在 Weight ,更在于长上下文下的 KV Cache 和计算开销。
@wwhc 体积和运行时加载 vram 消耗是两回事啊
@wwhc 你不妨吧链接和 readme 扔给 ai 解答一下吧
DeepSeek-V4-Pro with 1.6T parameters (49B activated) and DeepSeek-V4-Flash with 284B parameters (13B activated) — both supporting a context length of one million tokens.
@WWwwMMmmMMmmWWww 只能说明你没用到位。。。我 codex/claude 最高档天天用
@vandort 另外游戏显卡 没有 tensor core 或者少很多。 这才是 高性能计算需要的。
1  2  3  4  5  6  7  8  9  10 ... 58  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2658 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 25ms · UTC 15:46 · PVG 23:46 · LAX 08:46 · JFK 11:46
♥ Do have faith in what you're doing.