V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  est  ›  全部回复第 1 页 / 共 622 页
回复总数  12440
1  2  3  4  5  6  7  8  9  10 ... 622  
20 小时 11 分钟前
回复了 seekseat 创建的主题 职场话题 硬件工程师待遇为何不如软件工程师?
如果硬件工程师考虑地球上一个地方温度条件不足怎么办?他可能会综合地理,纬度,气温,洋流等等,最后小心翼翼设计一套复杂的暖通工程

软件工程师:replace(太阳, 更大的太阳)
1 天前
回复了 heyjianjun 创建的主题 电动汽车 买车决赛圈极氪 001 还是蔚来 ET5T
byd 发布 5 分钟充电 400km 了。。蔚来危。。。。
另外再说一个简单的 token 吐字效率计算。大语言模型你可以看成所有参数都需要顺序激活一次参与计算,假如 7G fp32 的 LLM 每一秒钟输出一个 token ,就至少需要 28 GB/s 的显存带宽。
7B == 7,000,000,000 ,得到 7G 。每一个参数 4byte (fp32) 那么就需要 7x4 == 28GB 显存

用了 fp16 优化就只需要 14GB 显存。用 int8 量化就需要 7GB 显存,用 int4 量化就需要 3.5GB 显存

当然 transformer 还有很多其他的各个环节提升,这里 x4 x2 x1 x0.5 可以进一步打折优化。这里只是一个大概的计算
@julyclyde 我名字记这么准确,那我肯定知道自己在说什么。
归根结底还是实名制

实名制归根结底还是 周济 干出来的第一发。
windows 吗?不开多个系统用户账号?
**物业费 (含公摊)** 每月 1680 元


靠。。
9 天前
回复了 voidmnwzp 创建的主题 汽车 关于 su7 的丐版,雷军的刀法很奇怪啊
如果比参数能赢的话你肯定选 linux
11 天前
回复了 byaiu 创建的主题 汽车 小米最近各路媒体推太多了 感觉有点烦了
那你喜欢哪吒的流量吗?
21 天前
回复了 qdwang 创建的主题 随想 自从互联网发明出来,人类越活越累
其实这个真怪爱迪生发明电灯

没电灯之前没人加夜班。
24 天前
回复了 gransh 创建的主题 电影 关于哪吒 2 的建模风格混乱问题
@ssh 恒大资金是几万亿,广东头部企业,然后呢。
25 天前
回复了 miantiao 创建的主题 分享创造 [开源] Hacker News 中文播客
AI 味有点重。。
25 天前
回复了 gransh 创建的主题 电影 关于哪吒 2 的建模风格混乱问题
@bkmi @liangzaiyi 这类新闻非常多,你有兴趣可以研究下,比如

2 月 20 日,交易所出手,处罚开盘阶段砸盘的量化巨头。https://news.qq.com/rain/a/20240221A00JTW00

很多炒股的都在骂量化,包括幻方。这玩意你敢说政策没打压?
不一定是歧视,说明拿原生 ROM 来刷流量或者爬虫的模拟器或者群控比较多。
25 天前
回复了 gransh 创建的主题 电影 关于哪吒 2 的建模风格混乱问题
很多工作室就是靠给网游做建模吊一口气啊。

可可豆动画缺钱的时候给王者荣耀做外包。。。

其实成都就这样,很多濒临破产的手游工作室。

deepseek 是做量化苟且偷生的
25 天前
回复了 Joker123456789 创建的主题 Java 微服务是不是一种错误的方向?
你打工的话,微服务提供更多就业岗位

你外包接业务的话,微服务比单体可以让甲方掏更多钱

你解决问题的话,微服务本身带来更多问题

你指挥好几个组的话,微服务如果拆分恰当,可以提高协作效率。

主要看你屁股在哪里。
1  2  3  4  5  6  7  8  9  10 ... 622  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3379 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 204ms · UTC 11:03 · PVG 19:03 · LAX 04:03 · JFK 07:03
Developed with CodeLauncher
♥ Do have faith in what you're doing.