看到有货, 可以买了, 目前能自营买到最好的显卡了吧. 特供版本
七彩虹( Colorful ) iGame GeForce RTX 4090 D Advanced GDDR6X 24G 大显存 游戏电竞电脑显卡 ¥ 13999.00
https://item.jd.com/100081721839.html
谢谢
1
daiv OP 跑模型 1 块 4090D
如果训练, 并且缩小范围, 大约需要怎么样的硬件来搭配? |
2
daiv OP 或者说,
这样的需求不叫训练, 微调 就够了 |
3
perfectar 339 天前 1
我的理解哈,不一定对。
1. 如果是想快速对某个垂直领域(半导体-新能源等)的数据做理解、分析、总结,可以基于 ChatGPT+RAG 知识库的方式去做,可以参考 langchain 和 LlamaIndex 等框架。优点是:成本比较低,技术路线较成熟,见效快;缺点是:对生成内容的格式、风格等依赖于模型本身的能力,可能无法满足你的特定需求; 2. 如果你的垂直领域数据量足够,且能够转成指令数据集(可人工标注,或者 Self-Instruct ),也可以试试进行指令微调 SFT ,利用 LoRA 或者 QLoRA 等方式,对显存要求不太高。这种方式的优点是可以直接将知识灌入模型本身,直接对齐垂直领域使用需求,缺点是数据若更新较频繁模型的微调成本也会较高。 供参考。 |
4
cat9life 339 天前 1
同上 RAG 才是正解。微调并不适合你的场景,而训练开个玩笑 就好比你想造车现在研究反向确实钢铁是怎么炼成的
|
5
daiv OP |
6
ShadowPower 339 天前 1
用少量样本训练模型其实学不到知识……
模型的绝大多数知识都在预训练阶段获得,微调只是改变模型的输出风格和表达习惯 |
7
laipidov 339 天前 1
RAG 是靠谱的选择,目前看自己训练没法得到理想的效果,模型选型需要好一点,可以试试 qwen 和 baichuan
prompt 和解码参数也非常重要,对模型的输出结果影响很大 就是不知道 op 的写作中,是不是需要特别强的逻辑推理能力,还是说一般的写作逻辑能力就足以应对。 |
8
laipidov 339 天前
目前看,24g 的显存,基本上只能是 7b 的模型了,13b 都不太好说
|
9
luchenwei9266 339 天前
4090D 在 AI 推理方面被阉割过,游戏性能还是和之前差不错,多嘴一句。如果只是为了大显存,可以考虑魔改的 2080ti 22G ,4090D 这价格应该能买 4 块了。
|
10
daiv OP @ShadowPower @laipidov 感谢感谢, 我先用 RAG 试试, 看看效果如何, 目前不是很需要特别强的逻辑推理, 因为是介绍性的文章.
@luchenwei9266 2080ti 22G * 4 这样来组? 88G 显存了, 但是买这样的魔改, 要做好折腾的心理准备, |
11
luchenwei9266 339 天前
@daiv #10 嗯,肯定要折腾一下的,不然你这卡顶多跑个 7B 左右的模型,量化过的 13B 估计也能凑合
|