@ggggz

有时间您可以参观一下我的开源项目，这个项目主要是我自己用来学习和研究各种模型能力的。并且想把各种模型拼接起来，实现各种有趣的功能。

https://github.com/smalltong02/keras-llm-robot

@kkk9 谢谢支持！: )

一觉醒来发现多了 15 个星星和一个 fork ，多谢大家的支持！

@dankai 谢谢，下一步准备添加本地部署 n8n 的支持。

恭喜发财，新年快乐。

我的开源项目还没有找到变现方式。

我最近也在研究这个，想把 candle+gguf 的模型部署到移动端。

我都干开源，你怕什么！
https://github.com/smalltong02/keras-llm-robot

@Seanfuck 这个分数对于一个可离线运行的多模态小模型来说，其实很不错了。"Qwen-VL-Chat"在图像识别上很出色，但是在语言理解和表达能力上不太行。

今天，我使用可离线部署的 "Qwen-VL-Chat"模型进行同样的测试。"Qwen-VL-Chat "是阿里云开发的开源多模态大型模型，总参数规模约为 100 亿，其中文字部分 70 亿，图形部分 30 亿。半精度加载的内存占用仅约 20GB ，是非常适合本地部署的开源模型。本轮测试共提取了 12 个测试用例，总分是 12 分，"Qwen-VL-Chat"最终得到了 6 分。

可以使用 Azure 的语音服务，这是我用过的最好的文本转语音服务，而且也支持各种地方方言。

@livexia 兄弟，多谢！

非常感谢！ Let me see see

可以考虑用我的开源项目： https://github.com/smalltong02/keras-llm-robot