V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
wszgrcy
V2EX  ›  问与答

现在已经有反爬措施了?

  •  
  •   wszgrcy · 2019-09-13 21:28:45 +08:00 via Android · 2900 次点击
    这是一个创建于 1930 天前的主题,其中的信息可能已经有所发展或是发生改变。

    用的 puppeteer,帮人写个小工具(不收费),在 window 下,正常,但是在 docker 中一些网站 goto 后秒崩,对一部分正常,一部分崩溃,哪怕只运行这一个也崩溃,曾经有人说没有爬不了的网站。。。但是这个网站也真是 nb。打开一瞬间就立马崩溃

    9 条回复    2019-09-13 22:25:19 +08:00
    D0n9
        1
    D0n9  
       2019-09-13 21:32:51 +08:00
    其实没有理解在问啥
    如果是 100% 出问题的话,为什么不尝试在 win 下跑一下,然后用 docker 跑相同的站,先排除是不是自身环境有问题。

    # 我也是闲的无聊,看到一篇无聊的帖子,无聊地回复一下
    whasyt
        2
    whasyt  
       2019-09-13 21:37:12 +08:00 via iPhone
    还开始有广告了??手机页面下面十个广告排成排,我一度以为我进错网站
    shintendo
        3
    shintendo  
       2019-09-13 21:44:00 +08:00   ❤️ 1
    每个字都认识,就是不知道你在说什么
    jinliming2
        4
    jinliming2  
       2019-09-13 21:51:28 +08:00 via iPhone
    @whasyt 一直有广告啊……
    xiri
        5
    xiri  
       2019-09-13 21:55:05 +08:00
    @whasyt v 站一直都有广告啊
    whasyt
        6
    whasyt  
       2019-09-13 21:55:32 +08:00 via iPhone
    @jinliming2 有十条这么多吗……之前 ios12 的 Safari 没啥广告
    littlespider89
        7
    littlespider89  
       2019-09-13 22:01:56 +08:00
    理论上应该是没有爬不了的网站,只是模拟人工访问的环境没做到一模一样,网站有些地方的检测没考虑到

    windows 下也是 headless 模式吗? 可以把网页放出来大家一起来试试
    wszgrcy
        8
    wszgrcy  
    OP
       2019-09-13 22:03:10 +08:00 via Android
    @shintendo win 下能爬不崩溃,docker alpine 下崩溃(部分网站)
    patx
        9
    patx  
       2019-09-13 22:25:19 +08:00
    不爬图片的话,禁止 pupeteer 加载图片试试?其实也可以弄个广告域名的黑名单,也屏蔽掉。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2493 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 78ms · UTC 15:59 · PVG 23:59 · LAX 07:59 · JFK 10:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.