野生程序员斗鱼直播写爬虫，抓双十一秒杀商品

[laoyuan]

爬虫写好了再写个网站把商品列表挂出来，今年准备全部开源。
直播地址 http://www.douyu.com/laoyuan
项目地址 https://github.com/laoyuan/wanggoumiji

秒杀已开帖 /t/319731

[yidinghe]

666666

[Joan]

666666

[laoyuan]

第一次提交代码，是去年写的爬虫
https://github.com/laoyuan/wanggoumiji

[laoyuan]

已经发现了一种模式，会场页
<div class="J_tabs 前一个 <textarea class="J_dynamic_data" 里面就是秒杀商品数据

例： https://pages.tmall.com/wow/act/16495/industry_1179

[laoyuan]

又发现一种模式
data-mod-name="mui/zebra-act-ms-240x240/index-pc" data-config="

例： https://pages.tmall.com/wow/act/16495/industry_309

[qcloud]

正在看直播， 2333 ，找半天找不到你这个帖子，刚才看你发帖子，本想你刚发，我就来评论的，结果到现在才找到这个帖子。

[m939594960]

去年就看你直播来着

[a570295535]

太卡了，虽然我看不懂，但我鱼丸 19345

[laoyuan]

@a570295535 好像无线路由器有点问题，我再买个新的。好在今年写的开源了，想用的可以直接看代码。

今天就播到这里了，明天把 pyspider 部署到生产环境开始跑，然后写个网站把抓到的秒杀商品列出来方便大家看。

[Dirlllee]

用哪些工具

[la0wei]

错过直播了怎末办

[laoyuan]

@la0wei 有代码啊，我再提交下

[twc731]

错过了

[twc731]

希望大神以后可以录一份录像，能学习一下

[laoyuan]

有代码看啥录像啊。爬虫跑了一晚上数据是这样的：
双十一总共 400 个会场页面，涉及 5700 家店、 12000 件商品，其中秒杀商品大概有 500 到 1000 件，我打算直接跑商品页面来识别秒杀，不在会场识别模式了。

[RobertYang]

无话可说只有 6666

[Vizogood]

我只能送你 6666 辛亏没去阿里 233

[ixinshang]

牛逼

[kang000feng]

@laoyuan 大神, 网站写好了吗, 期待商品列表挂出来,谢谢!

[laoyuan]

@kang000feng 看看今天能挂出来吧，就一个列表页面应该可以

[mclxly]

坐等列表页面

[freep2p]

去年用楼主提供的商品列表 秒了好几样。

[whatufo]

坐等列表页面

[guinguo]

去年在 up 主给的链接中抢到了几瓶啤酒跟一罐蜂蜜，蜂蜜现在还没喝完 233

[sorcerer]

马上要下班了 是时候放出列表了哈 楼主

[dreammes]

楼主来吧，都等着咯

[laoyuan]

刚开始抓商品页，不会放大家鸽子的！

[WDD]

@guinguo 好厉害，请问你是在手机上抢的吗？ 去年我在电脑抢毛都没抢到

[guinguo]

@WDD 电脑，不要抢那种很少的，然后 动作要快，姿势要帅 ^_^

[fleer]

蹲坑等。

[laoyuan]

@fleer 真的是掉大坑里了，本来打算从商品页识别秒杀，结果发现可以抓到开售时间，但价格只能抓到一个普通的价格，抓不到秒杀价所以没发识别秒杀。结果还是从会场抓那些明面上放出来的秒杀吧。。

[laoyuan]

已开帖 /t/319731