这是一个创建于 232 天前的主题，其中的信息可能已经有所发展或是发生改变。
买 M4 iPad 1TB 以下建议等 WWDC 后再决定。1TB 以下内存是 8GB ，1TB 2TB 内存是 16GB 。如果买了 8GB 内存，6 月 WWDC 发布本地 AI 大(xiao)模型只支持 16GB 那你就成韭菜了。虽然我认为 8GB 跑推理大概率是支持的，不排除可能模型会有阉割。
14 条回复 • 2024-05-29 15:41:29 +08:00
 |
1
icz 232 天前 via iPhone  4
可是我为啥非要用 ipad 跑推理呢
|
 |
2
maolon 232 天前 via Android
你要是关注过的话就会发现苹果的模型是超小型模型，之前开源的模型是 0.27b 0.45b 1b 和 3b ，不量化都能在 8g 里跑, 更何况还有量化+llm in a flash 技术，把 cache 存到储存里。
苹果的目标显然是连 4g 设备都能一并支持的模型。 |
 |
3
BEza5k2j7yew0VN9 232 天前
你的 M4 ipad 会更新吗？
很多人都是到手什么版本用到报废，我因为上个 ipad 系统太老了才买的新的。 |
 |
4
zhusimaji 231 天前 via iPhone
没啥好等的，如果做端侧务必会考虑模型大小，裁剪，蒸馏，量化等一系列操作下来模型就能兼容大部份设备，所以等 wwdc 没啥意义吧！ 8g 和 16g 内存下可能体积大小有差异，但是也不一定
|
 |
5
Socrazy 231 天前
大模型肯定是云端的啊，本地肯定是小模型
|
 |
6
vicalloy 231 天前
移动设备更关心的是能耗吧。
我是不太明白苹果为啥要在移动设备上卷 AI 算力。 现在 7B 的 LLM 效果也不怎么样，真涉及到大模型还是走远程 API 更现实一点。 考虑到续航时间，iPad 上的 AI 模型应当不会太大。 |
 |
7
gamekiller0010 231 天前
iPhone pro 最高也只有 8G
|
 |
8
mkdirmushroom 231 天前
为啥要用移动设备跑本地大模型，如果实在在乎隐私，完全可以在家里搭建一个家庭服务器来跑啊，内网直接连，外网穿透连。（我现在就是这个方案）
|
|
9
mkdirmushroom 231 天前
@maolon apple 的优势其实还是生态，本地模型完全可以用家庭服务器跑，但是肯定不能接入苹果的软件就是了。
|
 |
10
neptuno 231 天前
多出来这几千块，我都能订阅好几年 openai 了
|
 |
11
zhaidoudou123 231 天前
新款 8G 起步，意味着 ai 功能就算限制也只能限制 m4
其他功能我觉得 m1 开始都能用 |
 |
12
justsomac 231 天前
怎么感觉你们还在等苹果会在 LLM 上发布什么大杀器似的…即使 M4 算力提升不少，在端侧 LLM 也不能咋样啊，不也是现在 AI 的那些能力么，顶多是 Siri 没那么智障而已
|
 |
13
happyzhong0618 225 天前 via iPhone
这玩意能干活？精确？啊？确定？开啥玩笑
|
 |
14
iyue56 210 天前
还是建议别建议了，现在 MacBook 都是 8g 起步，就是为了变相提价而已，不会存在 16g 能做 8g 做不了的，最多就是慢一点卡一点。
|
Select Language