 |
coefuV2EX 第 616381 号会员，加入于 2023-02-28 17:15:35 +08:00今日活跃度排名 295 |
coefu 最近回复了
5 小时 10 分钟前 回复了 davidyin 创建的主题 › Local LLM › 如何在 vs code 上应用自建的 ollama 模型 |
@davidyin 搞是能搞成的，工程角度来看，是有办法的，只是麻烦。你自己要学一堆东西先。你这种需求，不是共性需求，没人造轮子的。
5 小时 12 分钟前 回复了 diudiuu 创建的主题 › Local LLM › [求助] DGX Spark 上 Ollama 推理极慢，改用 llama.cpp 部署是否更合适？ |
7 小时 16 分钟前 回复了 diudiuu 创建的主题 › Local LLM › [求助] DGX Spark 上 Ollama 推理极慢，改用 llama.cpp 部署是否更合适？ |
@diudiuu #5 我几百块的成本捡的垃圾，都组了一个智能密度看起来还可以的♾️tokens 。只是有时候慢一点。😄
7 小时 18 分钟前 回复了 diudiuu 创建的主题 › Local LLM › [求助] DGX Spark 上 Ollama 推理极慢，改用 llama.cpp 部署是否更合适？ |
@diudiuu #5 不差钱的话，全都买啊。mac studio m3 ultra 要是不搞 512g mem ，意义不大，顶配要 10w ，比 dgx spark 贵太多了。如果预算有限，就 dgx spark 咯？反正现在小模型的智能密度很高了。你要专业性和准确性的话，用 rag 提升，当前 ocr 和 rerank 都发展的不错了。
mac studio m3 ultra 可以串起来，组一个 1T mem 的组合 跑 671B 的 deepseek 。不差钱儿的话，这个肯定更好。
mac studio m3 ultra 可以串起来，组一个 1T mem 的组合 跑 671B 的 deepseek 。不差钱儿的话，这个肯定更好。
7 小时 59 分钟前 回复了 diudiuu 创建的主题 › Local LLM › [求助] DGX Spark 上 Ollama 推理极慢，改用 llama.cpp 部署是否更合适？ |
9 小时 37 分钟前 回复了 neteroster 创建的主题 › Apple › Macbook Neo |
@unneeded #2 吝啬这一块，还得是 apple 。
10 小时 54 分钟前 回复了 cat9life 创建的主题 › Local LLM › qwen3.5 过度思考的问题 |
@cat9life #5 你集成的 gpu tensor core 和 gmem bandwidth ，肯定其中有一个是瓶颈，或者两个都是。
10 小时 58 分钟前 回复了 cat9life 创建的主题 › Local LLM › qwen3.5 过度思考的问题 |
@cat9life #5 我刚才加上了 open-webui ，然后在里面让它读网页 URL ，确实耗时一点，但是真能读。并且内容分析的还可以，中规中矩，没有胡说八道。确实很夯了。
11 小时 32 分钟前 回复了 cat9life 创建的主题 › Local LLM › qwen3.5 过度思考的问题 |
@cat9life 我昨天一天的测试，都没有出现思考时间过长，思考+回答，几乎都在 2~3s 完成，非常快了。所以我觉得，夯爆了。准备加上 rag+network 试一下 质量效果。专业性和准确度完全可以靠 rag 来兜底的，实时性就靠 network 了。rag 里的最重要的就是 ocr 和 rerank ，搞好这两点，还是能打的。
11 小时 47 分钟前 回复了 davidyin 创建的主题 › Local LLM › 如何在 vs code 上应用自建的 ollama 模型 |
你应该问 chatgpt 或者 gemini 。
Select Language