ShadowPower

@IDAEngine 有差别，转译 64 位 x86 程序大概损耗到原生（直接源码编译 ARM64 ）的 87%左右。之前的 Windows （ 11 ，22H2 ）转译损耗我测得 82%，后来听说微软有优化，不知如今是什么水平。
有些程序的转译后性能会比较差，M1 刚出来那会，跑转译的 MATLAB 只有 i5-4210u 那么快……
只是现在的 M4 单核性能的 87%，也比绝大多数人用的 PC （尤其是笔记本）单核性能还强，体验上不会有太大差别。

用它来跑虚拟机，再跑 Windows 或者 Linux ，转译 64 位的体验，感觉也很像原生（必须是 64 位，32 位转译都差，macOS 下用 Crossover 的转译只有原始性能的 7%，还不如 Windows……）

@IDAEngine Rosetta2 不是纯软件技术，但是其他的竞品确实是纯软件的，其实强的还是硬件……

> 整个市场加起来可能一年都没一个 iPad 卖的多
真相了……

我估计现在买台式机的人，要么是游戏玩家，要么用来完成工作。
除了数码爱好者买来尝鲜，这个群体不会因为 mac mini 价格低了就去买一台，除非原先就使用 mac 。

以前还有黑苹果用户，硬件价格方面，就和普通的 PC 一样。他们有可能会从黑苹果换到 mac mini ，但按操作系统来统计的话，还是从 macOS 换到了 macOS 。

@x86 那也太奢侈了

我现在差不多就是这个情况。
用肯定能用，但是 IDEA 里插件不敢多装，网页标签页开太多的话，切换会有延迟。
内存压力始终是黄色的，哪怕 swap 不高的时候也是，不知道为什么（大概是内存压缩解压太频繁了）。
完全不敢开虚拟机/Docker ，只能用远程服务器上的。不然能让内存压力达到红色。
总体来说，用着不爽……

@BernieDu
你用 DeepSeek 的话，那就好办了。
你应该这么问 DeepSeek：

---------------

这是 LLAMA 模型的尺寸信息：
'llama3_70b': dict(
base_model='llama3_8b',
vocab_size=128256,
hidden_size=8192,
intermediate_size=28672,
num_hidden_layers=80,
num_attention_heads=64,
num_key_value_heads=8,
max_position_embeddings=8192,
rms_norm_eps=1e-5,
rope_theta=5e5,
),

双显卡跑 LLAMA 70B 模型，batch_size=1 ，模型拆分到两块显卡上，采用流水线并行。激活值精度为 float16 ，计算生成单个 token 时，两块显卡之间前向传播数据大小。

-----------------

它给你算出一个大小，然后，PCIe 4.0 x16 的带宽大约有 32GB/s ，用带宽除以每 token 传输的数据量，就可以算出这个瓶颈会限制 Token/s 到多大了。

@BernieDu 我现在用来跑 LLM 的显卡，实际 PCIe 带宽是 7.88GB/s （用的平台太老），显卡的显存带宽是 288GB/s ，跑 5bpw 量化 14B 模型实际有 28 token/s