最近搭了个 baichuan-inc/Baichuan2 ,想要自己喂一个模型出来,写点风格化的东西。
搭建环节凭借自己较为熟练的 python 使用经验和服务器运维入门的水平很顺利的完成了。但是如何去微调训练模型完全没有思路,不知道如何下手。各种名词只能一个个去搜,有没有过来人能指点一下学习路线。🙏
1
TimePPT 2023-10-10 12:46:04 +08:00 via Android
试试 lora
|
2
NoOneNoBody 2023-10-10 14:16:59 +08:00
这个已经是深度学习的概念了,机器学习只是“分类和归类”
首先,上一台强劲的硬件机器,CPU 和显卡(GPU)要跟上 …… 后面搜文章,哈哈(苦笑,机器买不起,我还没走到这步) 机器学习硬件需求低一些,我用 12700 核显玩这个 |
3
lingeo OP @NoOneNoBody 文章我已经抓了大概 600 篇左右,硬件的话目前是 2080ti 22G + 13600kf 。
|
4
tothegump 2023-10-16 20:37:56 +08:00
可能我也了解过一丢丢机器学习吧……
我先看了李航的《统计学习方法》,个人感觉非常好的一本书,可我是个码农,感觉跟代码对应不起来,又看了一点《机器学习实战》,依然没有感觉 (凑合着理解了半点点) 再往后,大模型出来后,又乱七八糟的学了一点点 买了课比较贵,就不推荐了……(不是课不好,是我没有时间看 尴尬.jpg ) 极客时间的几个专栏比较不错,在我收藏夹里的灰也比较厚了 个人感觉使用 colab 搞几个 sd 模型比较好玩,可以快速给自己正反馈,也确实比较好玩(去 c 站看看😁) |
5
tothegump 2023-10-16 20:39:11 +08:00
对了,感觉前面学的跟后面大模型完全没关系,可以不去看那么多
|
6
jack139 2023-10-26 16:04:12 +08:00
|
7
mingge2333 2023-11-13 17:38:37 +08:00
@tothegump 找到学习路线了没,我也是相同电脑配置, 目前 B 站学习, 同感觉没必要学太多, 只想根据自己的数据集训练特定数据
|