V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
WolverineL
V2EX  ›  程序员

safetensors 模型部署请教

  •  
  •   WolverineL · 2 天前 · 750 次点击

    大佬们,我现在有两个 safetensors 格式的模型文件,一个只有 130M ,另一个 3G+ 我现在想要部署这个模型使用,我不太清楚这两个文件都是什么意思,我需要怎么部署,纯新手 有没有操作案例或者示例代码 指引一下迷路人

    11 条回复    2024-11-12 20:06:53 +08:00
    zhmouV2
        1
    zhmouV2  
       2 天前
    safetensors 不包含模型本身的结构,只有模型参数,你得知道这个模型是啥样的。然后 safetensors 一般还是用 python 部署吧,就是安装一下 pytorch 之类的框架,最后用 gpt 写个示例代码就行。
    WolverineL
        2
    WolverineL  
    OP
       2 天前
    @zhmouV2 我 gpt 了个示例代码,但是一直跑不起来 不知道模型该怎么用,130M 和 3G 都只是参数吗
    我看 130M 是张量 3G 那个我也不知道是什么 ,现在的场景就是只给了我两个 safetensors 文件,让部署
    WolverineL
        3
    WolverineL  
    OP
       2 天前
    是 Lora 模型 safetensors 格式
    zhmouV2
        4
    zhmouV2  
       2 天前
    @WolverineL #2 你找到的是画图的模型吗,3G 大小感觉是一个画图的模型,然后 130M 是对应的 Lora ?“Lora”不是某一种模型,而是对模型参数的微调方法,类似于一种“插件”,以画画为例,某个特定的“Lora”模型能够让原来的大模型本体画出之前不认识的角色/画风/概念之类的。建议先搜索一下模型的文件名,知道大概是哪个范围的才能有答案。
    DefoliationM
        5
    DefoliationM  
       2 天前 via Android
    用 ollama 的话,需要手动转一下,具体可以参考 https://tech.takuyakobayashi.jp/2024/06/14/526 ,转完之后直接用 ollama run xxx 就能运行。
    DefoliationM
        6
    DefoliationM  
       2 天前 via Android
    @DefoliationM 下面的量化可以不看
    huoshen
        7
    huoshen  
       2 天前   ❤️ 1
    凭直觉先用 transformers 的 AutoModelForCausalLM 和 AutoTokenizer 试试看能不能 load 再说
    WolverineL
        8
    WolverineL  
    OP
       2 天前
    @zhmouV2 是一个画图模型,大佬。
    模型文件是这个 chilloutmix_NiPrunedFp32Fix ,那我是需要以什么形式启动模型
    StableDiffusionPipeline.from_pretrained 这个是不是可以载入模型,
    然后再将 lora 参数文件(130M) load 进 pipe: pipe.load_lora_weights (lora_weights)
    WolverineL
        9
    WolverineL  
    OP
       2 天前
    @DefoliationM 好的 我看一下
    thevita
        10
    thevita  
       2 天前
    不知道 sd 有不有毕竟好的推理框架哦, 比如如果你用你上面的 diffusers 的话,就看 怎么 load lora 呗

    https://huggingface.co/docs/diffusers/v0.14.0/en/training/lora#inference
    charlert
        11
    charlert  
       1 天前 via Android
    用 Comfyui 建工作流啊,教程很多
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4905 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 03:59 · PVG 11:59 · LAX 19:59 · JFK 22:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.