安利妹子爬虫啦（ Scrapy 爬妹子图片）

[allencode]

周末闲不住，学了 Scrapy ，写了个基于 Scrapy 的爬虫，爬了妹子网的图片(其实代码就是 copy and paste),仔细分析一下流程。好东西要共享。 自己测试了跑了十几分钟，没报异常，不得不说 Scrapy 真是好用，可是也很博大精深，慢慢学吧。

GitHub 地址

上妹子图：

上跑动图：

上 ReadMe 图：

其实上面的都不是很重要，重要的是妹子网。

[MyFaith]

copy 后就成了你自己的？

[allencode]

@MyFaith 没有啊，声明了而且贴了原作链接啊，好东西要共享嘛，开源不就是要共同进步吗，先模仿再自己写。

[jy02201949]

Scrapy 目前在 win 上只能用 python2 吧，建议爬妹子图这种简单的需求，自己用 urllib 、 bs4 或者正则撸就好了，完全没有必要用 scrapy ，还能加深对爬虫的理解，顺带学习下码 python

http://www.imooc.com/learn/550

[jy02201949]

@jy02201949

[jy02201949]

@jy02201949 手贱不小心发出去了

安利慕客网教程
正则
http://www.imooc.com/learn/550
简单爬虫
http://www.imooc.com/learn/563

[allencode]

@jy02201949 的确是的，主要为了学习 Scrapy 这个神器，不过 Scrapy 的确非常好用！

[AndyCrz]

为啥我觉得 Scrapy 特别的难用呢？

[allencode]

@AndyCrz 刚开始我也觉得。之前一直用 urllib ， requests 这些库。配置 Scrapy 的确很麻烦。但是用上了就很喜欢。你不用考虑许多，起码爬虫的速度以及爬取的数据的量你不用担心。再者， Scrapy 是专门用来爬取的，它最大的特色就是异步调度和请求，这个是非常好的。小的数据量看不出来，一旦爬的数据量多或者时间久，就明显了。我们初学者，只需要理解和学习怎么去提取你需要的数据格式就行了。 scrapy 官方文档非常赞。我也才入门点皮毛，共同进步吧，加油哦

[AndyCrz]

@allencode 看来你用的时间还是不够长，安装只是很小的一块，速度说实话真心不如 tornado 和 gevent ，很多不方便的坑在里面等着呢，慢慢体会他的框架的并不够强大，然后你就想自己写了

[omg21]

scrapy 现在有 python3 的版本了吗？