fanhed's recent timeline updates
fanhed

fanhed

V2EX member #378639, joined on 2019-01-19 18:44:50 +08:00
fanhed's recent replies
8 days ago
Replied to a topic by majuzhang Local LLM 公司本地部署开源模型
先确定想用什么模型, 然后根据并发数和上下文要求, 确定多大显存, 然后再根据要求的 prefill 和 decode 速度, 确定具体的显卡型号
我 M1 Max 顶配, 确实没有性能问题, 但是不支持最新的 studio display 的高刷有点难受.
感觉还能再战三四年
11 days ago
Replied to a topic by Erona 程序员 有人把「词元」一词塞进了 opencode
不觉得糟糕, 词元翻译比令牌精准得多
14 days ago
Replied to a topic by kneo OpenAI Codex 把我电脑文件都删了
@Ryanzlab claude 一样有删了别人文件的案例, 自己不设防中招是迟早的
两张 RTX PRO 6000, 数据自己看:
Prefill tok/s Aggregate decode tok/s
╭──────┬─────────┬────────┬────────┬───╮╭────────────┬───────┬───────┬───────╮
│ ctx │ tokens │ TTFT s │ tok/s │ N ││ ctx \ conc │ 1 │ 2 │ 4 │
├──────┼─────────┼────────┼────────┼───┤├────────────┼───────┼───────┼───────┤
│ 8k │ 8,192 │ 0.82 │ 9,959 │ 1 ││ 0 │ 213.7 │ 331.0 │ 494.7 │
│ 16k │ 16,250 │ 1.61 │ 10,094 │ 1 ││ 16k │ 214.3 │ 333.4 │ 585.7 │
│ 32k │ 32,342 │ 3.10 │ 10,429 │ 1 ││ 32k │ 209.1 │ 335.3 │ 491.9 │
│ 64k │ 64,559 │ 6.15 │ 10,501 │ 1 │╰────────────┴───────┴───────┴───────╯
│ 128k │ 128,992 │ 14.53 │ 8,878 │ 1 │
╰──────┴─────────┴────────┴────────┴───╯
@sillydaddy 还要算 prefill, 还要算 prefill 的 cache 命中
@yoshiyuki agent 是否联网是可控的
只看 spec, 具体代码已经来不及看了
@notebookarno 支付宝把位置调到旧金山, 然后就可以看到卖 Apple 礼品卡的, 能用国内 Visa 信用卡直接买
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5925 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 13ms · UTC 02:09 · PVG 10:09 · LAX 19:09 · JFK 22:09
♥ Do have faith in what you're doing.