这是一个创建于 368 天前的主题，其中的信息可能已经有所发展或是发生改变。
- idc 的显卡租赁太贵了
- 用普通用户的显卡，去跑那些模型服务
- 相当于 pcdn 用存储和宽带，而你我得朋友你用用户的显卡
我想看看 V2EX 有作这方面的吗
 |
1
dayeye2006199 2024-03-09 15:45:20 +08:00  2
我只能说，搞一堆 4090 做计算集群的，可能连 data sheet 都没读过。
数据中心卡为什么是数据中心卡，游戏卡为什么是游戏卡，都是有关键不同点的。 |
 |
2
yanest 2024-03-09 15:55:35 +08:00 1
都是想当然的，以为一个机器插 8 个 4090 就能 8 倍算力了，赶超 h100 了
|
 |
3
l4ever 2024-03-09 16:01:56 +08:00
搞了 6 块 4080 算吗?
|
 |
4
ETiV 2024-03-09 16:07:48 +08:00
https://github.com/b4rtaz/distributed-llama
Run LLMs on weak devices or make powerful devices even more powerful by distributing the workload and dividing the RAM usage. |
 |
5
stoneabc 2024-03-09 16:40:50 +08:00
@dayeye2006199 4090 做推理用，多数场景完爆一堆数据中心卡…只能说老黄真是暴利
|
 |
7
tap91624 2024-03-09 16:44:54 +08:00
pcie 带宽有限，都得上 nvlink ，家用卡做算力集群怎么可能这么简单
|
 |
8
R4rvZ6agNVWr56V0 2024-03-09 16:59:23 +08:00
只有玩具意义，没有生产意义。
|
 |
9
doublebu 2024-03-09 17:21:49 +08:00
带宽有限不太适合大模型。但是也有相关项目： https://stablehorde.net/
|
|
13
doublebu 2024-03-09 17:30:08 +08:00
@wangbin11 国内不清楚，如果你是有算力的话，可以尝试在咸鱼租用。我朋友 2080ti 22g 的魔改卡租给出图的，好像是 9 块钱一天。
|
 |
14
kneo 2024-03-09 17:30:25 +08:00 via Android
这种是咸鱼小作坊模式。
|
 |
15
neopenx 2024-03-09 19:19:12 +08:00
ToC 做分布式算力，用户机器的稳定性和数据隐私都是问题。自己搞搞玩玩可以，出了事故就完蛋了
|
 |
16
cczh678 2024-03-09 21:09:39 +08:00
有，在这里，提供 AI 训练平台提供 AI 训练推理的过程资源管理和效能服务； GPU 池化解决方案，保护 GPU 投资，让 GPU 共享，发挥最大效率；提供 AI 训练推理高性能存储资源池，同时也做 LLM 大模型一体机建设，基础设施和平台一体化交付，有端到端的 AI 基础设施解决方案，希望和您取的联系，加强合作。
|
 |
18
xxb 2024-03-10 00:03:17 +08:00 via Android
有的，我就是相关的人
|
|
19
dayeye2006199 2024-03-10 00:24:34 +08:00 via Android
@stoneabc 啥完爆，推理这种暂且不论模型太大需要做分布式推理的，一上通讯游戏卡直接速度原地爆炸的。
就说完全不需要通讯的，资源分割和池化，mig vgpu 啥也不支持，利用率直接跌穿地板 |
 |
21
s2555 2024-03-10 01:10:53 +08:00
我怎么听着好像挖坑那一套，发币给报酬
|
 |
22
GeruzoniAnsasu 2024-03-10 01:58:35 +08:00
你们想做平台还是采购算力，我这有个国内搞这些的群
|
 |
23
streamrx 2024-03-10 08:00:12 +08:00 via iPhone
搞算力是要很中性化拼成本拼效率的， 分散的 gpu 哪些电脑稳定性 网速根本就跟不上。rndr io.net akt 就是搞去中心化算力的 炒作价值拉满 实际意义根本不大。 但是这些币值得买 ai 在币圈太牛逼了
|
 |
24
PbCopy111 2024-03-10 11:08:12 +08:00
没看到你的问题呀，你问什么呢？
|
 |
27
vincent7245 2024-03-10 23:40:01 +08:00 via Android
我两块捡破烂的 P40 照样搞的热火朝天
|
 |
28
kennylam777 2024-03-11 07:42:06 +08:00
|
 |
29
shijingshijing 2024-03-11 09:47:46 +08:00
你猜为什么 H100 这种都要不计成本的上 HBM ？为什么要用昂贵的 NVLink 而不是 PCI-E ？ NVIDIA 为什么要花大价钱收购一个做数据中心网络的 Mellanox ？
|
 |
30
chesha1 2024-03-11 11:59:26 +08:00
@dayeye2006199 太想当然了，有的公有云也有游戏卡可以租，对于推理来说性价比够高，数据中心里不全是计算卡
|
|
31
dayeye2006199 2024-03-11 13:01:24 +08:00
@chesha1 您这才是在想当然把。。nvidia 的 EULA 您都没了解过把？消费级显卡不是不允许在数据中心环境下使用的，你这说的云都是什么野鸡云
|
|
32
chesha1 2024-03-11 13:21:45 +08:00
@dayeye2006199 那你去向 NVIDIA 举报吧，百度云里就有不少 3090
|
|
33
dayeye2006199 2024-03-11 13:31:39 +08:00
@chesha1 请不要散布不实信息，百度云 GPU 全系都是数据中心系列的 tesla 的卡
|
 |
34
wlm907091813 2024-03-11 14:16:52 +08:00
有，我们在成都有算力池，消费级别的有 3090 ，4090 那些，企业级别的就是 A100 等
|
|
35
chesha1 2024-03-11 15:41:08 +08:00
@dayeye2006199 百度云 GN3 就有 3090 的型号，现在创建新的只有 V100 T4 这些卡了，但是还有存量的 3090
|
|
36
stoneabc 2024-03-11 19:46:51 +08:00
@dayeye2006199 我说的就是普通模型的推理，搞分布式推理当然不行。但就我了解到的，云上目前大部分推理资源都还是用于普通模型推理。另外 vgpu 、MIG 虽然不支持，但各云厂商都有自己的切分技术，cGPU qGPU ，想提高利用率的方法多了去了。
|
|
37
stoneabc 2024-03-11 19:48:02 +08:00
@dayeye2006199 你也太理想化了…国内几个厂商都有消费级卡，你想举报可以去 NV 举报，看它管不管：）
|
 |
38
234ygg 2024-03-11 20:56:15 +08:00
大项目的话完全不可行，别说一堆乱七八糟的显卡了，就算是正经服务商，全用 a100 都能导致各种不一致。cpu 超算也有类似问题。
冗余度接受度极高的小项目也许可行。。。其实这也就是未来的 edge computing ，现在很多家都在做。。。（但此游戏的核心是储能和超低延迟，不是算力） 分布式计算当年 seti 和 folding 项目早就玩过了，上个世纪就发现几乎各个环节都有无法规避的问题，其实 btc 也是那帮人后来搞出来的。（看得懂的估计不多，80 年代的大师应该知道我说的是什么） |
 |
39
Satansickle 330 天前
@wangbin11 同感兴趣，拉个群聊呗 eHN3d3BwcA==
|
 |
40
wangbin11 OP @Satansickle 没有咯，看看而已
|
Select Language