smalltong02

不错，不过我想做一个可以离线生成漫画的 AI 工具，语言模型和图像生成模型可以自由选择。

那是因为 ollama 加载的是 gguf 的量化模型。

我的开源项目已经支持 gemma ，并且提供了 Webui 。整体测试下来效果一般，没有经过微调的话很多任务无法完成测试，并且也拥有小模型的通病，输出 token 停不下来。并且 gemma 7b 输出是乱码，我试过 LM Studio ，也是这个情况，所以感觉像是模型的问题。

https://github.com/smalltong02/keras-llm-robot

我这个项目支持 safetensors 的模型，如果你想使用 gguf 的模型，可以使用 LM Studio 最新版。

@wangkai0956 其实花不了太多时间，目前我这个项目仅花了四个月左右。技术栈的话 python 一定要熟悉，能够自己开发前端和后端。主流的 LLM 框架 langchain 要花时间学习一下。

当你有这样一个项目之后，当 Huggingface 上有新的优秀模型发布你就可以很快去适配和测试它，而不仅仅只能看它的各项评测分数（很多模型都有刷分的问题）。比如看看它在 RAG 任务中的表现，或者能否将自然语言翻译成图像生成的提示词。是否拥有较少的幻觉，知道什么时候调用搜索引擎，什么时候调用 Function 。能否按照要求稳定输出特定格式的结果，能否正确编写代码并调用代码解释器完成复杂的任务等等。

@smalltong02 我这一个项目里面几乎包含了大部分的机器学习落地项目:
1. 本地离线模型和量化模型推理
2. OpenAI 和 Google 在线模型推理
3. 语音识别和输出
4. 图像识别和生成
5. RAG 知识库
6. 代码解释器
7. 智能搜索引擎

可以先找一些比较好的开源项目参考一下，比如我的...
https://github.com/smalltong02/keras-llm-robot

添加了代码解释器功能，支持 Open-Interpreter ，可以使用大语言模型在本地计算机中运行任务:

Sora 生成的视频太逼真了，肯定会有人把 Sora 用在不好的地方，比如黄色产业，造假等等。

这个总结的很好，收藏了！