Qwen2.5 72B 是最好的本地代码补全模型

[Leon6868]

本地 4xV100 平台部署 Qwen2.5 72B GPT-Q int4 ，命令如下：

lmdeploy serve api_server ./Qwen2.5-72B-Instruct-GPTQ-Int4 --cache-max-entry-count 0.4 --model-format gptq --tp 4

在 CodeGeeX 插件中启用本地模型，配置自定义提示词：

• 聊天 Prompt

You are Qwen, created by Alibaba Cloud. You are a helpful assistant. You are profound in coding.

• 代码补全 Prompt

我会给你我的代码片段，结构如下<|code_prefix|>：光标前的代码
 <|code_middle|>：你需要在这后面预测光标处的代码
 <|code_suffix|>：光标后的代码
 你需要根据光标前后的代码给我中间的代码；不要废话，不要输出 code_suffix 、code_prefix 、code_middle ；不要将代码放在代码块内；只输出纯代码

生成速度能到 80 tps ，补全几乎无延迟，实际使用体验代码能力和 Deepseek api 不相上下，但是响应速度快三到四倍。

---

目前的痛点在于 CodeGeeX 本地模式不支持直接引用文件，想问问有推荐的 vscode 插件吗？

[kizunai]

Qwen2.5 72B 比 Qwen2.5 Coder 32B 在代码补全上面提升大吗？

[Leon6868]

@kizunai #1 Qwen2.5 Coder 32B 是新模型，但是不好用

参数提升是量级上的碾压

[otakustay]

连本地模型最好的办法就是 continue： https://docs.continue.dev/autocomplete/model-setup

[BernieDu]

@Leon6868 基础模型和 coder 模型 比参数量没意义。两个我都用过，反正我觉得对于我 swiftUI 的编程帮助不大。可能我用惯了基于 claude 的 AI IDE ，觉得这些本地模型就跟过家家一样

[so1n]

内存买小了，跑不了 72- -

[Donaldo]

本地 4xV100 有点猛了。。

[cyio]

有没有最安全的联网模型，明确不记录代码、用于训练的

[sampeng]

日常使用连 deepssek 肉眼可见没 copilot 好用，十次有 6 次是错误的。

[Donaldo]

@cyio #7 你相信他宣称的隐私保护就安全，否则没有安全的联网模型。

[574402766]

昨天用 continue+ollama 布了个 Qwen2.5-Coder-7B 补全挺快不过还没深入用不确定质量如何 明天上班打算试试 32B

[zhixiao]

@otakustay continue 也不知道弄啥的，一个插件有 80m ，快赶上 vscode 本体大了，体验还不如 cursor 之类的

[Removable]

72B 要多少内存啊？

[otakustay]

@zhixiao 那可多了，一个是 napi 要用就是一堆基础文件，然后还自带了个 all-minilm 模型，要做 embedding 又放了个 lancedb ，代码解析又带了 tree-sitter
要纯本地就是这个代价，没有任何远程的服务能给你什么语法分析什么 embedding 存储，那只能所有功能占本地硬盘了呗

[b1t]

4xV100 ？ 羡慕

[pakro888]

好奢侈。慕了