V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
herozzm
V2EX  ›  宽带症候群

迫于代理 ip 池太贵,在家拉了 3 条宽带做代理 ip,求最佳方式

  •  
  •   herozzm · 2020-09-01 12:02:17 +08:00 · 3147 次点击
    这是一个创建于 1304 天前的主题,其中的信息可能已经有所发展或是发生改变。

    爬虫是放在电信机房,只有一个固定 ip (后期也无法更换 ip ),但业务是爬虫,遇到 IP 被封得换,目前思路是在家里拉 3 条宽带(最好有公网 ip ),然后机房那边先到家宽,然后取爬数据。

    我的想法是在家宽路由器上定时上报 3 个宽带 ip,然后安装 socks5 代理给机房服务器使用,机房那边遇到 ip 被封禁,就下发指令给家宽路由器重新拨号获取新的 IP 。

    还有更好的实现方式吗?

    35 条回复    2023-11-02 21:26:07 +08:00
    shoaly
        1
    shoaly  
       2020-09-01 12:05:03 +08:00   ❤️ 2
    3 条宽带的预算报下来, 然后跟同事商量一下, 他们每个人家里面的宽带装一个你说的 socks5, 这样 ip 数量就多了... , 同事每天中午的饭也能加个鸡腿
    herozzm
        2
    herozzm  
    OP
       2020-09-01 12:12:15 +08:00
    @shoaly 个人项目,没同事
    supermoonie
        3
    supermoonie  
       2020-09-01 12:34:03 +08:00 via iPhone   ❤️ 1
    云立方 定时拨号 之前在公司搞过,顺便问下缺人手不🌚
    Lax
        4
    Lax  
       2020-09-01 12:49:36 +08:00   ❤️ 1
    家里的机器拨号之后自动 ssh tunnel 回机房的机器,在机房机器上监听固定端口。这样爬虫程序直接练本地端口就可以,甚至不需要知道远端机器的 ip 。
    herozzm
        5
    herozzm  
    OP
       2020-09-01 13:12:17 +08:00 via Android
    @Lax #4 看着很香
    moln
        6
    moln  
       2020-09-01 13:16:13 +08:00
    所以为啥不直接在家里爬呢
    herozzm
        7
    herozzm  
    OP
       2020-09-01 13:17:49 +08:00
    @moln 家里原来放了服务器,噪音大再后来房子重新装修,就丢机房省心了
    macy
        8
    macy  
       2020-09-01 15:15:38 +08:00   ❤️ 1
    咸鱼买一个,80 块钱一个月,几千个 ip 随便换
    herozzm
        9
    herozzm  
    OP
       2020-09-01 15:31:59 +08:00
    @macy 以前也试过那种所谓便宜的 ip 池,ip 可用率极低,稳定性也极差
    dorothyREN
        10
    dorothyREN  
       2020-09-01 16:35:11 +08:00   ❤️ 1
    有个东西叫拨号 VPS,20 块钱一个月。。。你需要的可能是这个
    herozzm
        11
    herozzm  
    OP
       2020-09-01 16:39:12 +08:00 via Android
    @dorothyREN #10 我知道这货,也考察了,带宽太小,比不上普通家庭的动则百兆且独占
    dorothyREN
        12
    dorothyREN  
       2020-09-01 17:01:23 +08:00
    @herozzm #11 讲真,爬虫用得到这么大带宽? 5M 都用不了吧
    locoz
        13
    locoz  
       2020-09-01 17:49:41 +08:00 via Android   ❤️ 1
    三条宽带建议不同运营商,增大 IP 池的容量。
    组网可以用 ZeroTier,代理服务器搭好之后机房服务器直接调内网 IP 就行,其他不用管,也不需要写脚本连 ssh 啥的。
    IP 如果没有保持的需求的话,可以直接就定时重拨,省时省力,而且路由器通常也自带这种功能。
    moln
        14
    moln  
       2020-09-01 17:54:37 +08:00
    @herozzm 机房托管便宜么?
    optional
        15
    optional  
       2020-09-01 17:55:40 +08:00 via iPhone
    @herozzm 买贵的,IP 成本在 16 块钱一个月左右,不共享的那种
    herozzm
        16
    herozzm  
    OP
       2020-09-01 17:57:18 +08:00 via Android
    @dorothyREN #12 一台服务器同时并发爬几千个网站
    herozzm
        17
    herozzm  
    OP
       2020-09-01 17:58:01 +08:00 via Android
    @optional #15 给个购买链接
    ik
        18
    ik  
       2020-09-01 18:05:32 +08:00 via iPhone   ❤️ 1
    4 楼的方案通过, frp 也可以实现,不用上报 ip
    ik
        19
    ik  
       2020-09-01 18:06:02 +08:00 via iPhone
    4 楼的方案,通过 frp 也可以实现,不用上报 ip
    herozzm
        20
    herozzm  
    OP
       2020-09-01 19:01:11 +08:00 via Android
    @ik #19 只是省去上报 ip 的过程,本地 socks5,重拨命令还得搞
    ik
        21
    ik  
       2020-09-01 21:58:50 +08:00 via iPhone
    @herozzm 可以定时重拨🐶
    lysS
        22
    lysS  
       2020-09-01 22:15:22 +08:00
    你不是移民去越南了吗?
    rekulas
        23
    rekulas  
       2020-09-01 22:23:35 +08:00   ❤️ 1
    8 楼的方案可行的 当然自己还要开发 搭建起代理池 qps 几十是没有问题的
    herozzm
        24
    herozzm  
    OP
       2020-09-01 22:26:09 +08:00
    @lysS 需要准备的,你以为搬家这么快
    herozzm
        25
    herozzm  
    OP
       2020-09-01 22:34:21 +08:00
    @rekulas 要试试,你试过了吗?有合适的卖家推荐吗?
    shenfu1991
        26
    shenfu1991  
       2020-09-01 22:56:49 +08:00 via iPhone
    只要国内 ip ?如果国外 IP 也可以的话机场不就是最佳选择?
    herozzm
        27
    herozzm  
    OP
       2020-09-01 22:59:29 +08:00
    @shenfu1991 抓的是国内网站,用国外 ip 就是自残
    tlxxzj
        28
    tlxxzj  
       2020-09-02 09:44:25 +08:00   ❤️ 1
    你可以在网上买带拨号功能的 vps, 各个地区都有, 然后自己写个程序,定时拨号换 ip,这是我之前公司的做法。
    tlxxzj
        29
    tlxxzj  
       2020-09-02 09:46:14 +08:00   ❤️ 1
    你自己拉宽带,到最后你会发现,换来换去,就那麽几个 IP,很快就不能用了
    rekulas
        30
    rekulas  
       2020-09-02 09:49:12 +08:00   ❤️ 1
    @herozzm 旗云代理 快代理之类的 在用
    huaes
        31
    huaes  
       2020-09-02 11:18:19 +08:00   ❤️ 1
    @tlxxzj 我这电信只有一个 /24 段,但是联通我发现已经有不止 5 个了,还是联通更富裕啊
    herozzm
        32
    herozzm  
    OP
       2020-09-02 14:36:13 +08:00 via Android
    @tlxxzj #28 敢问用的哪一家,体验如何
    optional
        33
    optional  
       2020-09-02 16:11:04 +08:00 via iPhone
    @herozzm 去问了下,涨价了现在 25 一个了
    limetw
        34
    limetw  
       2020-09-04 16:43:01 +08:00 via Android
    Baidu Proxy IP location / Inlet / Outlet

    112.80.255.21 Nanjing CU CT
    180.97.104.45 Nanjing CT CT
    163.177.151.162 Guangzhou CU CM
    14.215.177.73 Guangzhou CT CM
    123.125.142.40 Beijing CU CM
    220.181.43.12 Beijing CT CM
    kayv
        35
    kayv  
       146 天前
    @dorothyREN 推荐一个拨号 vps 吧。。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5132 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 09:43 · PVG 17:43 · LAX 02:43 · JFK 05:43
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.