V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
yQiW5pwLNQ
V2EX  ›  问与答

各位递归下载使用的什么方法?

  •  
  •   yQiW5pwLNQ · 2021-09-05 16:26:24 +08:00 · 998 次点击
    这是一个创建于 935 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前使用"github"的项目搭建了一个网盘的索引页面

    我想要批量将文件转存下来(因为转存的网盘不一样,所以不存在一键等便携的转存方式)

    我最开始的想法是利用 wget -r -c -np url

    但是后面发现部分子目录可以成功拉取(有的缺少文件,有的完整)

    目前来说,我想拉取一个目录,目录下面有 n 个 n 级目录

    部分目录会变成 wget 的索引文件,打开文件会列出目录内的文件与文件的部分 path

    (例如域名为 a.com ,一级目录为 1,二级目录为 2,以此类推

    原本三级目录下的那个文件路径是 a.com/1/2/3/wenjia)

    索引文件内的 url 就只是为 wenjian,而没有前面的 a.com/1/2/3

    当然,以上可能是 wget 的记录方式

    但是我后来发现 wget 不会检查三级目录内的文件是否拉取就结束了(也就是说三级目录内的文件依旧是处于索引状态而没有被成功拉取)

    各位是如何正确递归拉取的?或者是我的参数有问题吗?

    我知道可以再次执行相同的命令,再次运行 wget

    但是我发现再次执行时,wget 会将(a.com/1)这种 url 认为是一个文件(其实是目录),wget 会检测当前本地的下载目录下存在一个相同名字的目录,就会停止进入 url 内检查这个到底是不是一个目录

    而我本地的索引文件也不会被 wget 再次检测到

    wget 载我再次执行时,只会告诉我(a.com/1:Is a directory)

    3 条回复    2021-09-06 16:03:58 +08:00
    felixcode
        1
    felixcode  
       2021-09-05 16:52:03 +08:00
    用 wget 的--mirror 参数试试
    maomaochong199
        2
    maomaochong199  
       2021-09-05 17:01:25 +08:00 via Android
    我也需要解决方法
    yQiW5pwLNQ
        3
    yQiW5pwLNQ  
    OP
       2021-09-06 16:03:58 +08:00
    @felixcode 我刚刚尝试完毕,依旧存在下载不完全的问题(wget -m url)
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5412 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 07:45 · PVG 15:45 · LAX 00:45 · JFK 03:45
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.