公司最近在做上量,用两天时间从零开始学习,写了两个网站的抓取 demo、
新榜抓取: 1、接口是加密的,通过页面的 js 分析出了接口请求数据的加密规则。 2、需要登录才能获取数据。通过 selenium 模拟用户登录。然后抓取数据 豆瓣阅读: 1、频繁请求会封掉 ip、使用随机代理、请求延迟去获取数据
项目地址戳我,喜欢的话给个 star 吧。
1
zhangyouming OP 第一次发帖。好紧张,自己顶一下。
|
2
mingyun 2017-07-24 23:06:51 +08:00
支持 py3 就好了
|
3
zhangyouming OP @mingyun 写的时候 由于刚接触 不了解 2 和 3 有啥区别 mac 上自带 2.7 版本,所以就直接用了。。。。
|