V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
rationa1cuzz
V2EX  ›  问与答

中国移动招标,爬虫菜鸡求教,求思路

  •  
  •   rationa1cuzz · 2021-09-07 09:18:01 +08:00 · 1602 次点击
    这是一个创建于 1203 天前的主题,其中的信息可能已经有所发展或是发生改变。
    网址: https://b2b.10086.cn/b2b/main/listVendorNotice.html?noticeType=2
    加了 cookie,加了请求提参数,但是还是没有数据,不知道 ekp1APd1,TB2MFwna 这两个参数是从哪里来的,应该是某个 js 生成,全局搜过这两个参数也没有
    如图: https://www.yuque.com/rationa1/ffb538/17108027?artboard_type=artboard&view=&from=
    8 条回复    2021-09-07 17:40:29 +08:00
    Blanke
        1
    Blanke  
       2021-09-07 10:07:42 +08:00   ❤️ 1
    XMLHttpRequest.prototype.send 被重写了,里面添加了 ekp 这两参数,在 c4os60g36d0t.e309c5f.js 生成的 vm 里
    rationa1cuzz
        2
    rationa1cuzz  
    OP
       2021-09-07 11:16:07 +08:00
    @Blanke 大佬 nb,我是新手,要用 exec.js 调用 node 去跑这个 js 吗?有什么学习方向吗?
    rationa1cuzz
        3
    rationa1cuzz  
    OP
       2021-09-07 11:40:25 +08:00
    @Blanke 或者说大佬是怎么找到这个 vm 里的?
    Blanke
        4
    Blanke  
       2021-09-07 13:04:32 +08:00
    打 xhr 断点可以找到,黑盒调用可能有检测环境不一定可以,直接还原算是比较难的,建议先搞点简单的长点经验,别一来就搞难的
    xingshu1990
        5
    xingshu1990  
       2021-09-07 13:07:41 +08:00
    新手的话 建议直接使用浏览器生成后的 cookie 直接跑爬虫先。
    rationa1cuzz
        6
    rationa1cuzz  
    OP
       2021-09-07 13:22:51 +08:00
    @Blanke @xingshu1990 搞过一些简单的,稍微复杂的比如字符加密也搞过,这种搜都都不到的还是第一次遇到,这个其实可以使用 selenium 跑出来,但是还是想直接用 requests 试试,我先学着 xhr 打断点吧,还不怎么会
    rationa1cuzz
        7
    rationa1cuzz  
    OP
       2021-09-07 14:47:26 +08:00
    @Blanke 大佬,现在找到位置了,现在是一点点打断点慢慢看,网上也找了一些逆向的练手,感觉如果前端做的复杂点,看起来很累很麻烦。对于这种逆向加密过程有什么学习方向吗?还是说熟能生巧?
    如果可以直接 selenium 拿到数据,是不是没有必要再继续研究(时间多的时候再慢慢研究)?
    Blanke
        8
    Blanke  
       2021-09-07 17:40:29 +08:00
    你可以先试试 selenium 之类的可不可行,可行的话不追求速度可以直接用,弄出原始算法可能需要多花时间,大部分都是靠经验
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1115 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 23:10 · PVG 07:10 · LAX 15:10 · JFK 18:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.