 |
c0xt30aV2EX member #458937, joined on 2019-12-12 23:57:38 +08:00Today's activity rank 2568 |
| 数学行会的工业化会是出路么？ 随想 • c0xt30a • 16 mins ago • Lastly replied by yanaraika | 6 |
| 凑热闹说下我对 Loop Engineering 的理解 程序员 • c0xt30a • Jun 29 • Lastly replied by wuhunyu | 16 |
| 电诈短信实在是太猖獗了，哪位老哥帮他们服务器做一下压力测试？ 程序员 • c0xt30a • Aug 7, 2024 • Lastly replied by c0xt30a | 4 |
| 决赛圈了，诸位给点意见 职场话题 • c0xt30a • Dec 13, 2021 • Lastly replied by cxe2v | 19 |
| 你们的 Surface Pro 升级到 Windows 11 之后是不是很烫？ Windows • c0xt30a • Nov 23, 2021 • Lastly replied by SIGEV13 | 2 |
| 你们 Docker 宿主机的配置能不能给我参考下？ Docker • c0xt30a • Oct 7, 2021 • Lastly replied by c0xt30a | 3 |
| 一个小小的深度学习引擎 (c++) 分享创造 • c0xt30a • Jul 7, 2021 • Lastly replied by 275761919 | 7 |
c0xt30a's recent replies
1h 15m ago Replied to a topic by c0xt30a › 随想 › 数学行会的工业化会是出路么？ |
5h 6m ago Replied to a topic by VulcanEon › 分享创造 › 整理了 30 个 MiniMax H3 Max 视频案例，做成了开源 Prompt 合集，聊聊怎么整理的 |
@VulcanEon 那个 96G 魔改版是真的么？ 32G 5090 都要 $5000+ 了。
5h 10m ago Replied to a topic by VulcanEon › 分享创造 › 整理了 30 个 MiniMax H3 Max 视频案例，做成了开源 Prompt 合集，聊聊怎么整理的 |
@zlo309618100727 在我这边 5090 做 fl2va 可以 5-6 分钟出 15 秒视频。ref2va 另算，如果输入里有视频，譬如要做绿幕，那么出 15 秒视频可能上半小时。当然用超分会快很多，但是我感觉质量差一点。
3 days ago Replied to a topic by ljspython › 分享创造 › Layerive：用 AI 2 小时做了个本地 AI 图片工作台 |
> 一句话：它不是单纯的提示词出图页，而是用于持续图片创作的本地工作台。
OP 可以考虑重写一下去 AI 味
OP 可以考虑重写一下去 AI 味
4 days ago Replied to a topic by williamWilson › 分享创造 › 做了一个免费的 AI 图片描述工具： Describe a Picture |
OP 能做成 wasm 推理不需要服务端的么？
10 days ago Replied to a topic by zzutmebwd › Local LLM › pro6000 部署 Qwen 3.8 flash next nvfp4 |
OP 是怎么设置 `partial_rotary_factor` 和 `factor` 到 512K ctx 的？
11 days ago Replied to a topic by ooklwq › 分享创造 › 我妈要把我家猫绣成十字绣，找不到合适的图纸工具，于是自己写了一个 |
为啥只有一个暗色主题？
Aug 27 Replied to a topic by sentinelK › Local LLM › mac m5 ultra 上线中国官网。1.2T 显存带宽， 256GB 版本 8.6 万 |
我这么算 tg:
- 1.2TB/s 的带宽
- dsv4-flash 的激活是 13B 的 fp4 ，大概是 6-7 GB
- 1M 上下文时候 bf16 kv 是 7 GB
所以不带 mtp:
- 在 ctx=0 时，1200/7 = 171 tok/s
- 在 ctx=1M 时，1200/(7+7) = 85 tok/s
参考：
- https://www.reddit.com/r/LocalLLaMA/comments/1svzlog/the_exact_kv_cache_usage_of_deepseek_v4/
- 1.2TB/s 的带宽
- dsv4-flash 的激活是 13B 的 fp4 ，大概是 6-7 GB
- 1M 上下文时候 bf16 kv 是 7 GB
所以不带 mtp:
- 在 ctx=0 时，1200/7 = 171 tok/s
- 在 ctx=1M 时，1200/(7+7) = 85 tok/s
参考：
- https://www.reddit.com/r/LocalLLaMA/comments/1svzlog/the_exact_kv_cache_usage_of_deepseek_v4/
Aug 20 Replied to a topic by nc › 分享创造 › 之前答应给全楼送永久 VIP 的 jav.hk 上线了 |
OP 有没有考虑过全部上传到 tg 一个频道里？
自己存储太贵了
自己存储太贵了
Aug 20 Replied to a topic by Livid › 信息安全 › 用 Socket 保护 DeekSeep Harness 的安装和执行过程 |
DeekSeep ......
Livid 你故意的么？
Livid 你故意的么？
Select Language