首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
华为云
V2EX  ›  Python

请教一个爬虫关于 HTTPS 请求的问题

  •  
  •   beforeuwait · 4 天前 · 681 次点击

    笔者在 app 抓包的时候发现问题。

    我用的 charles

    比如抓包美团,手机配置代理后,美团就请求不到数据。

    后来 google 后知道人家用了 ssl,这个证书在 charles 的 ca 里没有,所以通不过。

    嗯,好吧,那就常规的 app,charles 可以抓包

    我在写爬虫时候,根据抓包的 url cookie header 就可以去请求数据了。

    这里我就突然困惑了,即使可以抓包,也是因为安装了 ca,而我在用 requests 库时候,并没有带任何证书,服务器仍旧会给我反馈,那么在爬虫层面 http 和 https 就没有区别了

    这是为什么呢?

    3 回复  |  直到 2018-10-11 19:41:40 +08:00
        1
    beforeuwait   4 天前
    手动捂脸
    刚刚我想明白了
    平时我一直用的代理
    偶尔用本地 ip 去请求是时候会 SSL 报错
    requests 这个库去进行 https 请求也需要带 ca 的
        2
    liuyanjun0826   4 天前 via Android
    你好像对 hash 有所误解
        3
    warcraft1236   4 天前   ♥ 2
    我觉得你应该先搞清楚 http 和 https,然后了解一下 MITM,然后了解一下 ssl pinning
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2321 人在线   最高记录 3762   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 18ms · UTC 12:26 · PVG 20:26 · LAX 05:26 · JFK 08:26
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1