V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
awolfly9
V2EX  ›  Python

开源项目免费爬虫代理框架 IPProxyTool 请各位 V 友 敬请雅正、不舍赐教~

  •  
  •   awolfly9 · 2017-03-31 09:30:59 +08:00 · 14773 次点击
    这是一个创建于 2800 天前的主题,其中的信息可能已经有所发展或是发生改变。

    使用 scrapy 爬虫抓取代理网站,获取大量的免费代理 ip 。过滤出所有可用的 ip ,存入数据库以备使用。

    从项目开源以来收到了各位 V 友大神的指点,也不断的优化完善羡慕,目前在第一次开源之后做出了如下重大更改:

    • 添加验证次数,如果验证次数越大,表示该代理 ip 越稳定
    • 多进程分别验证每一个站点,比如 豆瓣、京东 是在两个不同的进程同时验证,更加保证了代理 IP 的有效性
    • 更改了 mysql 连接库,从 mysql-connector-python 换成了 pymysql ,并且插入支持事务
    • 完善了服务器接口参数
    • 添加了更多代理 IP 站点,目前大概支持 10 个免费代理 IP 站点

    github 地址: https://github.com/awolfly9/IPProxyTool

    请各位 V 友继续敬请雅正、不舍赐教~

    PS:开源真的让我认识了很多 V 站的朋友,也让我受益匪浅,如果你对项目有任何的意见和建议,欢迎加我微信指点 QXdvbGZseQ==(base64)

    29 条回复    2017-04-04 14:50:38 +08:00
    whx20202
        1
    whx20202  
       2017-03-31 09:44:55 +08:00
    先收藏了,主要想看看网络这块编程怎么写
    awolfly9
        2
    awolfly9  
    OP
       2017-03-31 09:46:15 +08:00
    @whx20202 可以加我微信,一起进步哦~
    bozong
        3
    bozong  
       2017-03-31 09:46:24 +08:00
    先收藏。。。
    alouha
        4
    alouha  
       2017-03-31 10:00:24 +08:00
    已 star
    Reign
        5
    Reign  
       2017-03-31 10:05:31 +08:00
    对于我们这些不会 Python 的,作者可不可以做成 API 返回 json 的格式供我们调用?
    awolfly9
        6
    awolfly9  
    OP
       2017-03-31 10:06:21 +08:00
    @Reign 有的,但是现在没有开放,可以私聊我
    chendajun
        7
    chendajun  
       2017-03-31 10:11:07 +08:00
    代理网站给的免费代理 IP 可用性如何?之前弄过类似,发现这种免费的 IP 可用性非常差后来就放弃了。现在 Scrapy 提供的 Crawlera (付费的,购买的是 25 刀那个 plan ),感觉很不错。
    5dkgansm
        8
    5dkgansm  
       2017-03-31 10:13:50 +08:00
    如果可以的话方便提供 python3 的支持吗?
    awolfly9
        9
    awolfly9  
    OP
       2017-03-31 10:22:31 +08:00
    @5dkgansm 在后续会更新,目前主要是我的开发环境都是在 python 2.7.12
    Gandum
        10
    Gandum  
       2017-03-31 10:23:09 +08:00
    所以,和 https://github.com/qiyeboy/IPProxyPool 的区别是?
    awolfly9
        11
    awolfly9  
    OP
       2017-03-31 10:24:04 +08:00
    @chendajun 代理网站给的代理 ip 多半是不靠谱的,但是还是有少量漏网之鱼可以使用,而且这些还是比较稳定的,所以需要不断的验证抓取到的代理 ip
    awolfly9
        12
    awolfly9  
    OP
       2017-03-31 10:26:40 +08:00
    @Gandum 我在项目刚开始的时候参考了 IPProxyPool ,后来不断的更新完善,现在已经和 IPProxyPool 是两种不同的思路了
    jy01264313
        13
    jy01264313  
       2017-03-31 10:27:18 +08:00
    这些网站的免费 IP 有效率不到 10%,收费的有效 IP 不到 30%
    awolfly9
        14
    awolfly9  
    OP
       2017-03-31 11:20:45 +08:00
    @jy01264313 国外的免费网站提供的代理 IP 有效率高很多,国内的需要自己去洗出有效的 IP
    q9S
        15
    q9S  
       2017-03-31 11:31:29 +08:00
    前几个月好像就用过,感觉还不错;免费的 IP 会不会有的 IP 蜜罐
    xrlin
        16
    xrlin  
       2017-03-31 11:37:14 +08:00 via iPhone
    之前就在用,但 ip 还是太少了,毕竟是免费的
    awolfly9
        17
    awolfly9  
    OP
       2017-03-31 11:38:44 +08:00
    @xrlin @q9S 现在 IP 增多了,之前设置删除的时间太短了
    scriptkid
        18
    scriptkid  
       2017-03-31 14:53:54 +08:00
    已经 star 过两天放假了再看看~
    former
        19
    former  
       2017-03-31 17:45:29 +08:00
    @q9S 我以为大部分都是蜜罐
    jy01264313
        20
    jy01264313  
       2017-03-31 20:17:09 +08:00
    @awolfly9 推荐一个?我只需要国内的 ip 地址的
    vlike
        21
    vlike  
       2017-03-31 21:08:42 +08:00 via Android
    看了一下不错,可惜不喜欢 mysql
    zingl
        22
    zingl  
       2017-03-31 22:44:53 +08:00
    现在的年轻人都不知道 proxyhunter 了吧
    awolfly9
        23
    awolfly9  
    OP
       2017-03-31 23:51:38 +08:00 via Android
    @zingl 还真没有听过。马上查一下。感谢赐教。
    awolfly9
        24
    awolfly9  
    OP
       2017-03-31 23:52:18 +08:00 via Android
    @vlike 后续会支持其他数据库。
    former
        25
    former  
       2017-04-01 09:33:50 +08:00
    @zingl 代理猎手赞一个, 12 年的时候还在用,很老的软件,当年也是扫描验证代理的精品
    q9S
        26
    q9S  
       2017-04-01 17:06:36 +08:00
    ![]( )
    boos douban liepin 这些表名什么意思额
    q9S
        27
    q9S  
       2017-04-01 17:08:56 +08:00
    额 不用回我,晓得咯 ![]( )
    awolfly9
        28
    awolfly9  
    OP
       2017-04-01 18:04:08 +08:00
    @q9S 所以仔细看 readme 还是有必要的 😝
    cocoakekeyu
        29
    cocoakekeyu  
       2017-04-04 14:50:38 +08:00
    OK, 给 star
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2499 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 01:06 · PVG 09:06 · LAX 17:06 · JFK 20:06
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.