godqueue 最近的时间轴更新
godqueue

godqueue

V2EX 第 466888 号会员,加入于 2020-01-27 17:57:17 +08:00
godqueue 最近回复了
27 天前
回复了 forgottenPerson 创建的主题 Windows 有拓展性比较好的 windows 笔记本吗
@esee 有没有试过服务器组网需要多大的带宽。。之前用的腾讯云 5M 的带宽。。感觉不够。。目前用于 nas 做数据同步还行。。但是远程桌面就不指望了。。
30 天前
回复了 forgottenPerson 创建的主题 Windows 有拓展性比较好的 windows 笔记本吗
@esee 怎么解决远程卡的问题
用过 headscale 之类的。。都比较卡
@Ayahuasec 嗯。。看来也可以考虑 AMD 的 cpu 了~~~
@rabbbit 还有这种业务,非常棒,适合我~~~我之前看阿里云啥的都贵的要死。。
你们不会拿笔记本显卡跑 70b,如此大模型吧。。
@lrigi 哈哈。。我知道 llama3 默认是 8b,你们说的 4bit 不懂。。。fp16 也不懂。。还得回炉学习下。。
@rabbbit 我用 llam3:8b 输出的和 lrigi 一样。。应该是正确的吧
如果需要非常精确,那好像只能自己写字典来做这个事情。。
如果是生产就老实的用 gpt 吧。。或者其他大模型也可以。。但是大模型有幻觉,输出的内容很可能第一次和第 2 次的内容不一样。。。这个问题好像没有太好的手段。。
@Ayahuasec amd cpu 不影响跑大模型吗?现在 amd 的 cpu 咋样,还有啥东西会存在兼容问题之类的么?
跑虚拟机或者安装 linux 系统会有影响吗?

我是用 ollama run llama3 "summarize this file $(cat test.txt)" --verbose 这个命令来看速度的

total duration:4m16.4180938s
load duration:524.8u
。。。。。
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2767 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 17ms · UTC 13:43 · PVG 21:43 · LAX 06:43 · JFK 09:43
Developed with CodeLauncher
♥ Do have faith in what you're doing.