https://github.com/Awesome-Windows/Awesome

windows 的感觉上面都有覆盖,但是国产软件可能有一些没有比如 snipaste 等
工具这种东西我觉得是你有需求才会去找和用,而且基本上都会有人实现（没人实现只能自己写一个了

@abcfreedom 应该是可以的

ollama 不过你得自己编译下 issue( https://github.com/ollama/ollama/issues/738)里面找解决方案
或者你用 llama.cpp https://github.com/ggerganov/llama.cpp
readme 里面是提到有支持 hipBlAS 的 https://github.com/ggerganov/llama.cpp#hipblas

@yankebupt 中文你用 qwen 模型吧 那个效果好，instruct 在一些问题回答上会更好啊 当然也是答辩

想看比较,自己去 llm leaderboard 看吧 ,
https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard

我看了一下在我的 8G 3060TI 上 推理速度
https://i.imgur.com/XmbsWLD.png

在我的 m1. pro 16g
https://i.imgur.com/9Ey1B4w.jpg

看来还是 cuda🐮