V2EX › est 的所有回复 › 第 1 页 / 共 622 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9 10 ... 622

❮

❯

几秒前

回复了 seekseat 创建的主题 › 硬件 › 硬件工程师待遇为何不如软件工程师？

如果硬件工程师考虑地球上一个地方温度条件不足怎么办？他可能会综合地理，纬度，气温，洋流等等，最后小心翼翼设计一套复杂的暖通工程

软件工程师：replace(太阳, 更大的太阳)

1 天前

回复了 heyjianjun 创建的主题 › 电动汽车 › 买车决赛圈极氪 001 还是蔚来 ET5T

byd 发布 5 分钟充电 400km 了。。蔚来危。。。。

1 天前

回复了 zcm3579 创建的主题 › Local LLM › 如何估算一个大模型需要用到什么性能配置的硬件？

另外再说一个简单的 token 吐字效率计算。大语言模型你可以看成所有参数都需要顺序激活一次参与计算，假如 7G fp32 的 LLM 每一秒钟输出一个 token ，就至少需要 28 GB/s 的显存带宽。

1 天前

回复了 zcm3579 创建的主题 › Local LLM › 如何估算一个大模型需要用到什么性能配置的硬件？

7B == 7,000,000,000 ，得到 7G 。每一个参数 4byte (fp32) 那么就需要 7x4 == 28GB 显存

用了 fp16 优化就只需要 14GB 显存。用 int8 量化就需要 7GB 显存，用 int4 量化就需要 3.5GB 显存

当然 transformer 还有很多其他的各个环节提升，这里 x4 x2 x1 x0.5 可以进一步打折优化。这里只是一个大概的计算

2 天前

回复了 sleepybear1113 创建的主题 › 信息安全 › 有没有说一下，今年 315 晚会的“获客”方式的用户数据的来源？

@julyclyde 我名字记这么准确，那我肯定知道自己在说什么。

2 天前

回复了 sleepybear1113 创建的主题 › 信息安全 › 有没有说一下，今年 315 晚会的“获客”方式的用户数据的来源？

归根结底还是实名制

实名制归根结底还是周济干出来的第一发。

3 天前

回复了 linchem 创建的主题 › Visual Studio Code › Vscode 多人同时使用情况下配置解决方案

windows 吗？不开多个系统用户账号？

7 天前

回复了 olgarons 创建的主题 › 生活 › 刚刚看到一个主题说每个月 100k 的水平，才能勉强保持“体面”，为什么我一个月才能花出去 18,558.93 元上下？

**物业费（含公摊）** 每月 1680 元

靠。。