V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
dyxLike
V2EX  ›  问与答

如何用多线程快速的下载一个软件仓库?

  •  
  •   dyxLike · 2021-01-18 16:35:10 +08:00 · 999 次点击
    这是一个创建于 1406 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近做服务部署需要把一个软件仓库的文件夹整个下载下来, 部署文档里给的下载命令是这样的:

    wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/cdh6/6.1.0/redhat7/ -P /var/www/html/cloudera-repos
    

    然而 wget 是单线程的, 下载着实在是太慢了, 只有 30 多 kB/s, 我用迅雷试了下也不支持把文件夹整个下载下来, 只能一个一个文件的下载

    所以想请教一下各位, 有什么好的下载办法或者工具吗?

    7 条回复    2021-02-07 10:28:16 +08:00
    xunco
        1
    xunco  
       2021-01-18 16:36:37 +08:00 via Android   ❤️ 1
    aria2 ?
    dyxLike
        2
    dyxLike  
    OP
       2021-01-18 16:42:20 +08:00
    @xunco 没用过 aria2, 我研究研究
    goodryb
        3
    goodryb  
       2021-01-18 16:47:05 +08:00   ❤️ 1
    可以试试 Axel 和 wget 类似,支持多线程
    Stoulla
        4
    Stoulla  
       2021-01-18 16:54:48 +08:00 via Android   ❤️ 1
    Aria 2,直接默认配置都可以挺快的了。当然你这个只有 30k 不如考虑 export http_proxy?
    dyxLike
        5
    dyxLike  
    OP
       2021-01-18 17:00:54 +08:00
    @Stoulla 标题没说明白, 我是想要向 wget 那样递归下载文件夹的同时又支持多线程的效果, 但是 aria2 好像不支持递归下载
    jiezhi
        6
    jiezhi  
       2021-02-05 15:21:07 +08:00   ❤️ 1
    这是国外服务器,下载慢也没办法。

    所以我曲线救国了,把要下载的内容封装进 docker 服务,然后通过国内 docker 代理下载回来。

    https://hub.docker.com/r/lencent/cdh/tags
    dyxLike
        7
    dyxLike  
    OP
       2021-02-07 10:28:16 +08:00
    @jiezhi 是个好思路, 回头我试一下效果怎么样😂
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4697 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 04:05 · PVG 12:05 · LAX 20:05 · JFK 23:05
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.