V2EX › naclfish2333 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

58 天前

回复了 andforce 创建的主题 › 程序员 › 约 192GB 短信样本如何标记分类？

@yuxizhe 能不能跑起来主要看显存，glm-4 是 9B 的模型，全精度大概要占用到 17G 左右的显存。3090 单卡好像是 25G 左右，是足够了，但是 vllm 这个框架的策略是尽量占满显存的。

至于效果，只能是差强人意，我是要求模型分析词语和某个领域的相关性。直接输出输出一个 1 到 5 的数字，代表这个词和这个领域的相关性。

最后确实是可以正确分类，但是可能是 prompt 没写好或者分类的颗粒度分得太细了，导致分类的结果不是很一致。比如“电阻”模型会给出“5”，但是“电容”又会给出“4”。

59 天前

回复了 andforce 创建的主题 › 程序员 › 约 192GB 短信样本如何标记分类？

使用大模型并没有 op 想象的那么久，我之前才用 vllm 部署 glm-4 ，用 3090 一个下午就把整个中文维基的标题分类完了。那个数量差不多也是几百万条。

注意，一定是用 vllm 部署，这个框架的并发能力强的可怕。部署完就 python 写个脚本，并发写到 500 干他就完了。

83 天前

回复了 zhoudaiyu 创建的主题 › 汽车 › 请问类似雪佛龙这种燃油添加剂对老车油耗高和抖动有效果吗？

怠速不稳有可能是和前后氧传感器或者节气门积碳有关，这两个地方一般燃油清洁剂是没法触及到的。加清洁剂没用，可以尝试去修理厂叫帮忙检查一下，或者自己动手能力强也可以自己洗一下试试