V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
The Go Programming Language
http://golang.org/
Go Playground
Go Projects
Revel Web Framework
songjiaxin2008
V2EX  ›  Go 编程语言

用 go 写了一个知乎专栏爬虫

  •  1
     
  •   songjiaxin2008 ·
    solarhell · 2019-01-03 22:53:48 +08:00 · 3457 次点击
    这是一个创建于 1910 天前的主题,其中的信息可能已经有所发展或是发生改变。
    5 条回复    2019-05-07 18:54:42 +08:00
    pathbox
        1
    pathbox  
       2019-01-03 22:56:46 +08:00 via iPhone
    不会被封 IP 么?
    songjiaxin2008
        2
    songjiaxin2008  
    OP
       2019-01-03 23:00:52 +08:00
    @pathbox #1 暂时还没有 可能我这里发出去的请求不是非常大 都是半夜定时爬取的 如果量特别大 可以考虑多个机器发请求 持久化到 MQ 或者什么地方 做成分布式的
    FindHao
        3
    FindHao  
       2019-01-03 23:13:59 +08:00 via Android
    不是因为爬虫才抓紧去一个吗👀
    feiyipro
        4
    feiyipro  
       2019-01-04 12:04:33 +08:00
    需要 IP 资源的话可以找我,小量我们免费提供,就当测试了(利益相关:飞蚁代理)
    yepinf
        5
    yepinf  
       2019-05-07 18:54:42 +08:00
    @feiyipro 怎么联系,老哥来个微信
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3522 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 10:47 · PVG 18:47 · LAX 03:47 · JFK 06:47
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.