首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
endoffight
V2EX  ›  分享创造

分享一个最近写的 http 代理池工具 proxy_pool

  •  
  •   endoffight · 57 天前 · 1961 次点击
    这是一个创建于 57 天前的主题,其中的信息可能已经有所发展或是发生改变。

    proxy_pool

    之前用过很多开源出来的工具,效果都不是很理想,于是就自己开发了这个工具。他功能很简单,抓代理并且提供 api 给爬虫或者其他需要 http 代理的软件用。

    支持功能

    • 定时抓取互联网公开免费的代理
    • 定时验证可用代理
    • 支持动态代理( https 仅支持 connect)
    • 使用采集到的代理访问代理网站
    • 使用命令行环境变量进行配置

    说明

    • 采集的网站可以在 source 文件夹下找到
    • 支持了传统的 api 模式和动态代理,用过阿布云的同学一定知道
    • 有些网站可能当前网络也上不去,所以添加了用采集到的代理去访问目标页面的功能
    • 想要添加自己的 spider,最简单的只要 50 行代码即可

    下载地址

    如果用的顺手,欢迎 star 一下~

    proxy_pool/releases

    5 回复  |  直到 2019-12-03 14:51:50 +08:00
    mythjava
        1
    mythjava   55 天前
    好东西
    xjoker
        2
    xjoker   55 天前
    好像没看见配置检测网址的功能
    endoffight
        3
    endoffight   55 天前 via Android
    @xjoker 目前用的是 ip.cip.cc ,这个 url 直接返回客户端 ip,方便比较

    是有需求吗?
    xjoker
        4
    xjoker   55 天前
    @endoffight #3 刚好最近在做爬虫类的项目
    你这个项目真的很不错

    有时候会遇到反爬或者 ip 被封禁,所以我这里都是使用一个自定义的地址来检测代理的可用性
    endoffight
        5
    endoffight   54 天前
    @xjoker

    这个问题其实之前考虑过,因为池子可能不是给某一个爬虫使用,所以当时考虑到创建多个池子,然后针对每一个池配置一个检测代理是否可用的规则,所以我在开发的时候预留了 master 和 worker 模式,master 负责爬,每个 work 会维护自己的池子,m 会把采集到的代理分发到所有 w 中。

    但是检测一个代理 IP 是否可用,仅仅靠 http code==200 应该是不够的,遇到 API 类型的 url,可能要解析一下,然后判断某个字段是否正确;或者 html 中出现了某个关键字;还可能有更复杂的判断模式,当时想很多东西,撸代码的时候觉得还是先把基本功能实现了再说。

    综上,目前这个项目还是属于初级阶段,代理池时作为一个中立的池子。而你说的这个 feature 等有了 M/W 模式后就很好实现了。现阶段想满足你的需求修改 proxy 的 TestProxy 方法为你自己的逻辑即可。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2166 人在线   最高记录 5168   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 37ms · UTC 06:42 · PVG 14:42 · LAX 22:42 · JFK 01:42
    ♥ Do have faith in what you're doing.