我很好奇,有没有人将 deepseek 搭建在服务器上,然后对外提供出租服务的? 比如给个 mstsc ,或者弄个外网访问权限的。 可以让租用的人在本地调用这个云服务器上的模型的....
1
siknet 22 天前
官方不是有 API ?
|
![]() |
2
fcten 22 天前
官方有 api ,不过官方 api 这两天基本处于不可用的状态。
|
3
Jerry23333 22 天前
阿里云百炼里面有 deepseek
|
![]() |
4
hamsterbase 21 天前
|
![]() |
5
Themyth OP |
![]() |
6
hamsterbase 21 天前
@Themyth deepseek 官方应该不是亏本的,他们服务器有特殊优化的。
|
![]() |
7
dream7758522 21 天前 via Android
昨天凌晨 2 点多,官网 web 版也崩了,等了半个多小时,好了。联网搜索也是彻底废了。
|
![]() |
8
parad 21 天前 via Android
有很多,我这里做了对比
https://prompt.16x.engineer/blog/deepseek-r1-cost-pricing-speed 持续更新中 |
![]() |
9
parad 21 天前
域名太小众,渲染不出 link [https://prompt.16x.engineer/blog/deepseek-r1-cost-pricing-speed]( https://prompt.16x.engineer/blog/deepseek-r1-cost-pricing-speed)
|
![]() |
10
akira 21 天前
阿里云百炼 前天放了 deepseek 出来了。 一百万个 免费额度,足够测试了
|
11
lovestudykid 21 天前
@parad #8 Deepseek 不是本来就是用 FP8 训练的吗,FP8 怎么还会有量化损失?
|
![]() |
13
parad 21 天前 via Android
@lovestudykid 根据我的理解,DeepSeek 最终的 weight 是 mixed F8_E4M3 + FP32 。这个可以在 Hugging Face 的 原始 model layer details 里面看到: https://huggingface.co/deepseek-ai/DeepSeek-R1/tree/main?show_file_info=model-00027-of-000163.safetensors
而 Hyperbolic 的 FP8 是他们自己的 quantization ,是在 model 上面额外的 quantization ,这里有解释: https://docs.hyperbolic.xyz/docs/hyperbolic-ai-inference-pricing 所以我理解 Hyperbolic 应该是做了额外的 quantization 。当然有可能是我理解错了。欢迎指正。 |
![]() |
14
parad 21 天前
@lovestudykid 问了另一家 provider ,他们说因为 Deepseek R1 是 "trained in FP8",所以本来就是 FP8 quantization 。所以没有影响。
但我也不确定这些 provider 有没有自己多做一层 quantization ,因为 Deepseek R1 的 FP8 是某些 layer 才有的,有会多其他 layer 还是 BF16: - https://huggingface.co/deepseek-ai/DeepSeek-R1/tree/main?show_file_info=model-00001-of-000163.safetensors - https://huggingface.co/deepseek-ai/DeepSeek-R1/tree/main?show_file_info=model-00160-of-000163.safetensors - https://huggingface.co/deepseek-ai/DeepSeek-R1/tree/main?show_file_info=model-00163-of-000163.safetensors 这些 BF16 不确定是不是被额外的做了 FP8 quantization 。按照 vLLM 的说法,如果是 Online Dynamic Quantization “all Linear modules (except for the final lm_head) have their weights quantized down to FP8_E4M3 precision with a per-tensor scale”: - https://docs.vllm.ai/en/v0.5.0.post1/quantization/fp8.html |
![]() |
15
bccah 19 天前 via Android
除非你有奇怪的需求,不然直接官网就可以了。deepseek 的优势一直都是便宜大碗
|
16
kimizen 19 天前
我找到流畅体验无需等待的 DeepSeek R1 推理模型的方法了
硅基流动 联合 华为昇腾 推出了 DeepSeek-R1 、DeepSeek-V3 的 [671B 满血版] API 服务,回复速度与官方 API 基本一致。 通过邀请链接注册送 14 元平台额度,等效 87 万 DeepSeek-R1 Tokens 或 700 万 DeepSeek-V3 Tokens ,配合 CherryStudio 、ChatBox AI 等开源工具可在本地搭建 AI 聊天平台。 邀请注册可以获得赠送额度,邀请码注册,我们都能获得赠送额度 https://cloud.siliconflow.cn/i/7vbnP2Ow |
![]() |
17
tycholiu 10 天前
这家 https://ppinfra.com 可以试试,点我的链接 https://ppinfra.com/user/register?invited_by=P0KD6O 注册 ,我们双方都能拿到赠送的 5000 万 Token 使用量,个人可以用一年了。
|