这是一个创建于 2156 天前的主题，其中的信息可能已经有所发展或是发生改变。
地址 https://github.com/solarhell/ZhihuZhuanlanCrawler
效果大概是这样 https://github.com/solarhell/ZhihuZhuanlanCrawler/blob/master/misc/screenshot1.png?raw=true
httpClient 的代码来自 https://github.com/mozillazg/go-cos/blob/master/debug/http.go 感谢🙏
另外基础库的 http client 挺难用的, 希望新的提案能给力。
 |
1
pathbox 2019-01-03 22:56:46 +08:00 via iPhone
不会被封 IP 么？
|
 |
2
songjiaxin2008 OP @pathbox #1 暂时还没有 可能我这里发出去的请求不是非常大 都是半夜定时爬取的 如果量特别大 可以考虑多个机器发请求 持久化到 MQ 或者什么地方 做成分布式的
|
 |
3
FindHao 2019-01-03 23:13:59 +08:00 via Android
不是因为爬虫才抓紧去一个吗👀
|
 |
4
feiyipro 2019-01-04 12:04:33 +08:00
需要 IP 资源的话可以找我，小量我们免费提供，就当测试了（利益相关：飞蚁代理）
|
Select Language