jinsongzhaocn
V2EX  ›  Local LLM

部署 Qwen3.8-27B 模型死循环问题最新升级

  •  
  •   jinsongzhaocn · 2h 21m ago · 226 views

    部署 Qwen3.8-27B 模型的朋友,死循环问题可以升级了。 https://huggingface.co/froggeric/Qwen-Fixed-Chat-Templates llama.cpp 的配置参数里指定模板文件:

    --jinja --chat-template-file /model/Qwen3.8-27B/chat_template.jinja --reasoning-format deepseek

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5506 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 09:09 · PVG 17:09 · LAX 02:09 · JFK 05:09
    ♥ Do have faith in what you're doing.