下载 huggingface 大模型有什么好方法吗

[iorilu]

也用了 https://hf-mirror.com/

但这个基本下几 G 就限流了

直接 huggingface 下载也是比较慢的, 反正下 7,8G 以上文件基本 没完成就没速度了

大家有啥好方法吗, 现在模型太大了, 都是几十 G

[1daydayde]

限流的话断点续传就好了

[774157009]

modelscope.cn +断点续传

[wencan]

hf-mirror cli 断点续传

[4BVL25L90W260T9U]

你都能上 v 站了, 翻墙还不利索?

[Kite6]

代理+直接 wget

[nagisaushio]

挂代理 + https://github.com/bodaay/HuggingFaceModelDownloader

[MagmaBlock]

可以用 cloudflare workers 跑一个反向代理，github 有现成的脚本
前提是你的网络和 cloudflare 的链接质量得靠谱，有些宽带不行

[hertzry]

If you are running on a machine with high bandwidth, you can increase your download speed with hf_transfer, a Rust-based library developed to speed up file transfers with the Hub.

pip install "huggingface_hub[hf_transfer]"
HF_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download ...

[penisulaS]

有时候下载断流,我刷新一下 hf 的页面,速度就突然有了

[omega3]

上个优质科学网络 tg:wavevwe

[iorilu]

@ospider 这种大文件下一会儿就限流的, 除非不停换节点

[kokutou]

代理呢。。。。
国外 vpn 都随便 1t 流量，敞开下啊

[evan9527]

梯子问题，换一家。

[4BVL25L90W260T9U]

@iorilu #11 我用的 jms 从来不限流

[xujiang]

国内有阿里的魔塔
https://modelscope.cn/
基本的 model 都有，支持全速下载

[asly]

好像可以复制下载链接用迅雷下载

[vmebeh]

好像就 huggingface 的主域名被墙，反正用 lm studio 下模型直接跑超 ISP 给的带宽，梯子肯定没这速度

[pckillers]

直接去 modelscope 下载。 一般都有人分流。

[milkpuff]

我浏览器下载比较慢，链接粘到 aria2 下载千兆满速，不知道为啥

[chapiom]

可以开类似联通 9929 这样的，国外下载很快

[frandy]

之前因为这个问题写了个脚本，集成 aria2 还有点问题，没问题
https://github.com/readmagic/hx
希望能帮到你

[frandy]

@frandy #21 迅雷没问题

[ethusdt]

hf 被墙了吗，年前我下载模型四个 wget 一起，拉满千兆带宽的，没挂代理。

[bushnerd]

我稍微改进了一下 https://hf-mirror.com/的 hfd.sh 脚本，就是调用迅雷来下载，基本可以达到满速，且支持断点续传，比 aria2 使用起来稳定的多。
https://gist.github.com/bushnerd/b8ec8c5576a4221696b283b90d1eacb3

[bushnerd]

@bushnerd 忘了说了，thunder.exe 只有 Win 版本的， 因此这个脚本得在 wsl 中使用，调用 Windows 中的迅雷。