V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
fushall
V2EX  ›  程序员

请教各位,开源的 AI 模型需要什么样配置的机器?比如图像类啊大语言模型啊语音类啊都想玩玩

  •  1
     
  •   fushall · 5 天前 · 1029 次点击

    自己对 AI 机器配置这块没有任何研究。。。纯小白。。。

    刚好过段时间要休几天年假,打算玩一玩

    楼主的电脑是 thinkpad T14 32G 内存款,无 GPU ,貌似跑不了那些开源的 AI 模型

    搜索了一下,新人都是推荐苹果的机器,但自己没用过,心里没底

    14 条回复    2024-05-16 14:28:29 +08:00
    goxxoo
        1
    goxxoo  
       5 天前   ❤️ 2
    4060 16g 以上的吧, 我这个 1050ti 一张图 30-50 分钟 sd
    luchenwei9266
        2
    luchenwei9266  
       5 天前   ❤️ 1
    有用 CPU 的推理的,可以下一个 LM Studio 试试。不过建议还是得搞个大显存 GPU ,有钱上 4090 ,没钱买 2080ti 22G
    mmdsun
        3
    mmdsun  
       5 天前   ❤️ 2
    看你跑什么模型,一般 github 安装说明上都会写的。
    我的配置是 Windows 平台+Nvidia 4090 ,主要用 WSL 2
    最近跑了 Qwen 和 stable diffusion webui 画图都没什么问题的。
    jimrok
        4
    jimrok  
       4 天前   ❤️ 1
    主要是依赖 N 卡,显存是关键,一个 7B 的模型,大概能塞进 24G 的显存里,再大就装不进去了。
    smalltong02
        5
    smalltong02  
       4 天前   ❤️ 1
    如果你想自己研究的话,还是建议要搞一块 4090 。这样 34B-4bit(GPTQ),13B-8bit(GPTQ)和 7B-16bit ,都可以无压力的使用 GPU 加载并推理。如果想玩更大的模型,比如 70B 的模型,那么建议把内存也升到至少 64G 。这样可以使用 CPU 和内存加载 70B-4bit 量化的 GGUF 格式。

    此外给你推荐一下我的开源项目,比较符合你的需求,这一个项目支持很多的本地和在线模型,少量图像模型和语音模型:
    图像模型支持:OpenDalleV1.1 ,ProteusV0.2 ,SDXL-Lightning ,GhostXL 等
    音乐模型支持:facebook musicgen 系列
    语音输入输出支持:whisper ,OpenAI 和 Azure 在线语音
    https://github.com/smalltong02/keras-llm-robot

    如果你想使用知名的开源项目,那么我推荐
    LM Studio - 安装简单,可以只使用 CPU+内存做推理。缺点是只支持 GGUF 格式。
    Ollama - 同上,缺点在多一个没有漂亮的 GUI 。
    text-generation-webui - 这是最知名的项目,几乎所有格式都支持。
    routiner
        6
    routiner  
       4 天前   ❤️ 1
    不怕矿渣子的话,3090 也不错的,显存跟 4090 一样是 24G
    Giftina
        7
    Giftina  
       4 天前   ❤️ 1
    mac 的优点是对于绝大多数玩一玩图一乐的人来说不需要折腾(或很少折腾),而且预算要求很低。

    闲鱼上花 4K 收一台 mac m2 ,切记要 ≥16GB 内存的,能高效跑 7B 的模型,玩完了还能原价出。

    大语言模型的话装一个 Ollama 就可以玩了,需要 GUI 的话起一个 open-webui 就可以用了。用零一家的 7B yi 的实测速度和效果都很平衡。

    文生图的话可以用 Mochi Diffusion ,10 秒钟左右出一张图。都是即点即用的。
    Giftina
        8
    Giftina  
       4 天前
    @Giftina #7 以及 mac 很关键的一点是省电,峰值功率不到 20w ,好一些的屏幕都比它耗电🤣,拿显卡跑 ai 老心疼电费了
    squarefong17
        9
    squarefong17  
       4 天前   ❤️ 1
    应该有挺多教程的,例如: https://www.freedidi.com/12310.html

    又或者已经有一些跑本地模型的一键工具的。。。

    比如随手搜到一个 LM Studio: https://lmstudio.ai/
    squarefong17
        10
    squarefong17  
       4 天前
    并且稍微新一点的核显应该都能加速,并且即使是 CPU 也能跑一些,只是慢一点,pytorch 这方面适配海挺好,之前尝试清华那个 chatglm ,用 CPU 还是 NV 独显就是改一行代码的事儿。。。
    tpjaord
        11
    tpjaord  
       4 天前
    没有 GPU 一般速度都会满很多的
    如果不在乎 就没事
    cgcs
        12
    cgcs  
       4 天前
    我也想弄个配置高点的苹果,毕竟,笔记本就可以折腾折腾了
    cccccent
        13
    cccccent  
       4 天前
    可以 看一下 ollama 这个东西,一键部署,自动量化
    ```
    Note: You should have at least 8 GB of RAM available to run the 7B models, 16 GB to run the 13B models, and 32 GB to run the 33B models.
    ```
    AlexHsu
        14
    AlexHsu  
       3 天前
    玩一玩的话买大内存的 64g 内存 用 ollama lm studio 之类的跑跑玩玩
    本地生产力买大内存的 mac m2ultra 192g
    至于 4090 区区 24g 也跑不起来什么大模型

    其实性价比的话买个 32g 同意内存的 mac 写代码 丢到 colab 跑就挺好
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3348 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 04:16 · PVG 12:16 · LAX 21:16 · JFK 00:16
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.