V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
KentY
V2EX  ›  程序员

查找中国 http 代理的比较可靠方法/网站

  •  
  •   KentY ·
    sk1418 · 2015-12-28 21:24:10 +08:00 · 7514 次点击
    这是一个创建于 3013 天前的主题,其中的信息可能已经有所发展或是发生改变。

    查找具有中国 IP 的 http 代理方法或网站是什么?

    需求:

    • 通过国内代理, baidu 网盘打开速度, 下载速度比较快. 我这里 100mbps 的网, 下网盘的东西通常小于 100k, 时而抽风最快到 400 多 k, 碰上个好的代理可以到 1,2M 多.

    • 网易,虾米什么的歌曲可以在线听

    目前我就是在 http://proxy-list.org/ 上找中国的代理, 并写了个脚本 https://github.com/sk1418/myScripts/blob/master/python/cnProxy.py 来按速度显示便于 cp.

    又弄了个本地 pac 给 firefox 来自动设置代理:
    https://github.com/sk1418/myScripts/blob/master/shell/ffproxy.sh

    可是我发现, 那个网站有时候代理标称的速度和实际不符, 要手动试好几次. 挺麻烦. 想了解下, 比较靠谱的获得国内代理的方式是什么, 最好有一个(或几个)网站, 我好把脚本更新了. 不要求时效多长, 稍微稳定就可以了. 1,2 天更换一次我可以接受.

    谢谢

    20 条回复    2017-02-15 05:52:29 +08:00
    LGA1150
        1
    LGA1150  
       2015-12-28 21:42:40 +08:00
    实际上很多中国的代理 IP 是运营商做的缓存
    移动居多,如 120.198.231.0/24 120.198.243.0/24
    你可以用网站检测工具 DNS 解析一下各下载服务器的域名
    TaMud
        2
    TaMud  
       2015-12-28 23:47:45 +08:00
    KentY
        3
    KentY  
    OP
       2015-12-29 00:18:36 +08:00
    @TaMud 谢谢
    等我回家测试一下代理质量.
    这个 post 返回的还不错是 json, 脚本应该比较容易改, 还有 download_speed 测试结果.
    挺好的.
    wwek
        4
    wwek  
       2015-12-29 08:50:11 +08:00
    @TaMud 不错
    wwek
        5
    wwek  
       2015-12-29 09:24:13 +08:00
    TaMud
        6
    TaMud  
       2015-12-29 12:04:33 +08:00
    @KentY 这网站有反爬虫机制,虽然看起来好简单,其实并不简单,如要爬下来,要研究研究
    popok
        7
    popok  
       2015-12-29 15:43:27 +08:00
    @TaMud
    mark
    henices
        8
    henices  
       2015-12-29 16:44:57 +08:00
    KentY
        9
    KentY  
    OP
       2015-12-29 18:32:25 +08:00
    @TaMud 是, 我昨天觉得三下五除二改了就行了. 结果发现好像有几个 ID 是 server 那边生成的, 不那么容易弄出来. 等有时间了再细研究.
    TaMud
        10
    TaMud  
       2015-12-29 20:47:21 +08:00
    @KentY 要不把网站发到 V2EX 上让大家一起研究研究,是有点难度
    KentY
        11
    KentY  
    OP
       2015-12-29 20:53:42 +08:00
    @TaMud 你不已经发在上面了吗... 你是说要我把 request headers 贴上来?
    TaMud
        12
    TaMud  
       2015-12-29 20:55:40 +08:00
    @KentY 我的意思是重开一贴,让大家一起来研究一下这个网站的反爬虫机制
    KentY
        13
    KentY  
    OP
       2016-01-01 23:37:24 +08:00
    @TaMud 元旦放假, 在家看了下, 抓下来了.

    这个页面的反爬机制是, 一个 proxy.js 来设置一些 cookie, 这个 proxy.js 加密了, 让你不知道它要检查哪些 cookie. 通过 decrypt 这个 proxy.js 就发现了那些 cookie 的名字以及什么值.

    扩充了我自己的 cnProxy 脚本, 如有兴趣看下,见:

    https://github.com/sk1418/myScripts/blob/master/python/cnProxy.py#L61
    TaMud
        14
    TaMud  
       2016-01-05 19:59:10 +08:00
    @KentY 直接提示 hello bot
    KentY
        15
    KentY  
    OP
       2016-01-05 20:25:36 +08:00
    @TaMud
    你是用的我的那个 cnProxy.py 吗? 我这里可以的, 可以输出. 在家, 在办公室(有代理)都可以:

    211.144.81.68:18000 242 (kib or ranking)
    180.97.185.35:10001 232 (kib or ranking)
    211.144.81.69:18000 150 (kib or ranking)
    112.16.87.160:80 148 (kib or ranking)
    211.144.72.154:8080 129 (kib or ranking)
    TaMud
        16
    TaMud  
       2016-01-05 22:26:39 +08:00
    @KentY ip 不同就不能用,你的 ip 是固定 ip 吧
    KentY
        17
    KentY  
    OP
       2016-01-05 23:08:05 +08:00
    @TaMud 我公司 ip 应该是固定的, 我家是拨号的, 一直没重拨, 但是应该不是固定.
    hehuozhao
        18
    hehuozhao  
       2016-01-24 14:16:07 +08:00
    @KentY 谢谢你的脚本,我修改了一下变得可以兼容 Python 3 了, Pull Request 在这里, https://github.com/sk1418/myScripts/pull/2

    建议使用 lxml 代替 BeautifulSoup ,可以按 html tag 查找而不需要自己写 Regex ,速度也快很多。
    KentY
        19
    KentY  
    OP
       2016-03-01 18:56:44 +08:00
    @hehuozhao 那个网站修改了返回内容, 做了相应修改.
    KentY
        20
    KentY  
    OP
       2017-02-15 05:52:29 +08:00
    @TaMud 这个一直用着挺好, 怎么忽然不能访问了? 有内情?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2767 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 40ms · UTC 11:56 · PVG 19:56 · LAX 04:56 · JFK 07:56
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.