V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
ericbize
V2EX  ›  Python

想请教怎么长时间连接 http 代理

  •  
  •   ericbize · 2017-07-23 02:13:15 +08:00 · 3299 次点击
    这是一个创建于 2431 天前的主题,其中的信息可能已经有所发展或是发生改变。
    用 python 爬虫连接 http 代理但是好像都是用一次连接一次

    proxies = {'http': 'http://218.78.213.174:88'}
    response=requests.post(url,headers=header,proxies=proxies,data=param)


    大概代码就是这样


    有什么方法可以长时间链接 http 代理 然后每次只要点击就可以了,谢谢。
    7 条回复    2017-07-23 16:50:15 +08:00
    ysc3839
        1
    ysc3839  
       2017-07-23 04:43:18 +08:00 via Android   ❤️ 1
    这应该跟 Connection Keep Alive 有关了,怀疑是因为 requests 不支持 keep alive ?
    Trim21
        2
    Trim21  
       2017-07-23 04:59:10 +08:00   ❤️ 1
    @ysc3839 requests 应该是支持的,如果有大量请求会自动 keep-alive
    lslqtz
        3
    lslqtz  
       2017-07-23 05:23:56 +08:00   ❤️ 1
    既然自动那可能和时长有关?
    我觉得不是自动吧
    fuxkcsdn
        4
    fuxkcsdn  
       2017-07-23 09:08:25 +08:00 via iPhone   ❤️ 1
    用 session 才会默认添加 keepalive 的…
    wwqgtxx
        5
    wwqgtxx  
       2017-07-23 11:17:51 +08:00
    @ysc3839 requests 是支持 keep alive 的,但是必须在同一个 Session 实例中
    ivechan
        6
    ivechan  
       2017-07-23 15:26:42 +08:00   ❤️ 2
    requests 文档原话:
    "Keep-alive and HTTP connection pooling are 100% automatic, thanks to urllib3."
    点进去,发现:"keep-alive is 100% automatic within a session! Any requests that you make within a session will automatically reuse the appropriate connection"
    所以#4 #5 是正确的。
    RLib
        7
    RLib  
       2017-07-23 16:50:15 +08:00
    http 1.1 前的设计本来就是针对短连接优化的, 一般服务器在发完数据就主动 close 了, 你想保持也没用, 即便不 close 你发第二次请求也不会得到应答; 而 http 代理一个情况, 除非你走的 CONNECT 方式
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3402 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 11:52 · PVG 19:52 · LAX 04:52 · JFK 07:52
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.