Azure99

lmdeploy≈sglang>vllm ，个人偏好是这样

@japhetJiu 你说的这些主要是用于部署推理服务，并通过 RAG 框架调用。KoboldCPP （推理框架）、HF 的模型（模型权重 通常是对齐后的模型，一般带有 Chat 或者 Instruct 字眼）、AnythingLLM （ RAG 框架）。

如果希望训练自己的模型（假设你是做微调，就是让预训练模型从只会续写文本变得"会说人话"），应该找一个训练框架，比如 ms swift 、llama factory 、xtuner ；再去 HF 下载预训练模型（没有经过对齐的 通常带有 Base 字眼，或者没有 Chat 等字眼）；并且找一些数据集进行微调。上面列举的框架基本都有简单教程和数据集，当然如果你愿意用我的数据集，那就更好了。

建议不要打着分享创造的名义发推广贴（尤其是标题党+商业行为），直接套一个 text2image 能算是创意？
Huggingface 上大把效果不错的模型，用心找一个好点的不行么。
放个之前搞的 demo ，https://huggingface.co/spaces/Azure99/blossom-playground-v2.5 ，没有因为媳妇的一句话就开发，也没有会员订阅，也没有使用限制

你认为字符串""和 None 语义一样么？很显然是不一样的，""是一个空字符串，而 None 不表示任何数据。
所以 2 楼就是优解，如果它是空的，那么返回空 list ，如果有异常，直接抛出异常。不要返回 None 。

@japhetJiu 第一个问题已经回复过了
对于第二个问题，因为硬件资源的限制，这个 demo 是 4bit 量化后的，精度下降比较严重。
可以用 HF 上的 demo https://huggingface.co/spaces/Azure99/Blossom-34B-Demo ，不量化太狠是非常容易解决这个问题的。
https://imgur.com/qDdfX18

如果我掏出 Map<String, Map<String, Object>>，阁下又该如何应对？

您找的是不是：snowflake

自荐一下，9B 的模型，适合跑在本地
https://github.com/Azure99/BlossomLM

在线 Demo
https://huggingface.co/spaces/Azure99/Blossom-9B-Demo

没必要，langchain 适合做实验的时候快速的把想法跑起来，以及对比各种同类组件的效果。上生产还是自己写最舒服灵活，另外 langchain 经常有破坏性变更/bug ，所以不建议。