V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  WuSiYu  ›  全部回复第 3 页 / 共 21 页
回复总数  413
1  2  3  4  5  6  7  8  9  10 ... 21  
我们作为他人要证伪这点很简单:直接把你嘎了,或者等你自然死亡,而之后如果世界一切照旧,即可证明了你没了后这个世界照样存在

不过有趣的是你永远没法知道这个实验的结果,所以我们没法向你证明这点
257 天前
回复了 sunmacarenas 创建的主题 NVIDIA Nvidia Jetson AGX Ori 开发者套件
@sunmacarenas 作为参考,A100 上跑推理大概能到 3000+ token/s ,当然这是比较大 batch 的情况
257 天前
回复了 sunmacarenas 创建的主题 NVIDIA Nvidia Jetson AGX Ori 开发者套件
@sunmacarenas
首先跑 LLM 和跑 stable diffusion 是截然不同的工况,LLM 如果你个人用,也就是 batch 1 的话,对计算的需求很低,GPU 上基本都跑不满,但 llama2-13b 2token/s 也不算快的了。
int4 量化仅是权重是 int4 的,主要还是为了节省显存,实际推理的时候都是 fp16 (更常见)或者 int8 ,并且都不是稀疏。

而 stable diffusion 非常的计算密集(尤其是跑大图),对显存容量需求不高,十几 G 肯定够用,4090 是最合适的,从浮点算力上估计会比 orin agx 快 5 到 10 倍
258 天前
回复了 sunmacarenas 创建的主题 NVIDIA Nvidia Jetson AGX Ori 开发者套件
jetson 是给嵌入式(比如车机)用的,规模和普通 GPU 还是差不少,那个 270TOPS 是 int8+稀疏,实际跑常见的 fp16 非稀疏得除 4 ,实际性能会比 3070 还低一两倍,跑 sd 会非常慢。另外 nvdla 主要是低功耗用途,性能不高,跑大模型没帮助
279 天前
回复了 ThinkStu 创建的主题 5G 5G 在哪里?
5G 主要是末端延迟更低、带宽更高、承载量更高
但一般受制于基站密度,很多地方带宽其实都跑不满的,所以现实中后两者建更多 4G 基站也能有效果,谁不定性价比还更高
20w 的特斯拉 == 美国红米
298 天前
回复了 ghostwind 创建的主题 iPad Apple 真的环保吗?
苹果的环保是“卖点”
如果你问它有没有真的环保?那它确实可能在某些地方环保了。但这种环保的前提是作为卖点,并且优先级和别的卖点没有区别。而赚钱的优先级显然是更高的。

举个例子,一些苹果设备如果确实是用可回收材料制作,那确实环保了,值得肯定。但另一方面,iPhone 直到今年才换 type-c ,之前的大量 lighting 配件都会逐渐变成垃圾,由于 type-c 大一统是早晚的事,所以苹果拖一年就是不环保一年,但能再赚一年的认证费,因此苹果在赚钱、环保二选一的时候依然会选择赚钱,高于环保的优先级
扔内存里用哈希表就行,用 redis 即可
300 天前
回复了 keaidian 创建的主题 程序员 你们外卖一顿 平均多少呀
北京,一般按照 40 点,偶尔 50+
13p 首发,前几周已经 78 了,用 ac 换新电池了
没注意价格。。。1600 的话,最近可以捡个 nuc9 的单计算卡玩,价格挺便宜的
我自己在用 minisforum b550 准系统(老款的,别买新出的 pro ,反而不如这个拆卸方便),能上 5700G ,优点是能把 pcie 引出来,可以插全高 GPU 或者万兆网卡、HBA 卡等,可玩性比较高。类似的还有 p310s 准系统,deskmini 等
308 天前
回复了 ThinkStu 创建的主题 生活方式 天气对你的心情影响大吗?
挺大的,如果因为暴雨不用上班,我就会格外开心
mac 炼丹图一乐,除了跑龟速的 LLM 推理/ft ,没别的用
win11 最新设计语言都还不错,但并没都能新到新设计语言,新老交替就会比较违和
macos 可能稍微朴素一点,但整体性更好
@cmdOptionKana 我不妨跟你说的更直白些:以单一的所有制区别讨论政治/社会体制,是典型的政治幼稚
@cmdOptionKana 不要看到个词就开始到处用,封建制度本来就是你自己说的。当然“极致”并不严谨,但无可厚非的是封主义比新自由主义更加私有化,所以你依然是在说“不喜欢吃饭的人容易吃撑死”

请你至少能具有逻辑后,再去使用逻辑相关术语
@gpt5 用户不乐意,可不是也可以骂
@sunmker 嫌丑,看着烦
@voyagefar 某些当官的应该挺喜欢你的
@cmdOptionKana 幼稚的政治逻辑。关于私有的极致,你猜什么叫封建制?
1  2  3  4  5  6  7  8  9  10 ... 21  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3531 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 38ms · UTC 10:36 · PVG 18:36 · LAX 03:36 · JFK 06:36
Developed with CodeLauncher
♥ Do have faith in what you're doing.