求推荐一个能支持 Python 3 的非阻塞异步爬虫框架 ~

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 3775 天前的主题，其中的信息可能已经有所发展或是发生改变。

scrapy 貌似不支持唉。Github 上写明了 python 2.7
已经被 Python 2.7 中 unicode 各种烦了。求推荐一个异步爬虫框架吧，不然要用 Gevent 自己写，但是 Gevent 貌似也不支持 Py3K ？

异步

爬虫

gevent

17 条回复 • 2014-07-31 11:39:08 +08:00

yueyoum

2014-07-30 18:05:52 +08:00

gevent 目前貌似不支持 py3k
但 Py3k 自带了 asyncio

youyudehexie

2014-07-30 18:08:14 +08:00

scrapy Twisted 基于事件驱动，可以粗暴地认为是非阻塞。。至少非同步

Feiox

2014-07-30 18:08:58 +08:00

@yueyoum 听说了没用过，但 asyncio 不是异步 IO 的吗，网络请求也可以用它异步么？

Feiox

2014-07-30 18:09:34 +08:00

@youyudehexie 但它不支持 Python 3 啊 ~ ಥ_ಥ

clino

2014-07-30 18:26:06 +08:00 via Android

为什么一定要3

imn1

2014-07-30 18:29:41 +08:00

用 greenlet 自己写

Feiox

2014-07-30 18:32:25 +08:00

@clino 因为处理中文很舒服 ~ 并且有好多好功能 ~ 为什么大家都不支持呢

wwqgtxx

2014-07-30 19:07:49 +08:00 via Android

为何一定用python呢
有很多对中文兼容性很好的语言呀

binux

2014-07-30 19:19:24 +08:00

搞清楚之后不觉得 python2 的 unicode 烦。。

Comdex

2014-07-30 20:54:20 +08:00

用golang啦

liteneo

2014-07-30 20:59:30 +08:00

爬虫用Node.js就很方便，大把的模块

skybr

2014-07-30 21:11:29 +08:00

我记得gevent的开发版支持py3, 只是退出时会报个警告, 一系列支持py3相关的补丁是位国人开发者贡献进去.

love

2014-07-30 21:23:24 +08:00

都py3了还用什么gevent啊，该用高大上的asyncio

Kabie

2014-07-30 21:26:50 +08:00

tornado怎么样?

fdsfsdfsdf3334

2014-07-31 02:28:24 +08:00

requests 可以吗

mengzhuo

2014-07-31 09:22:24 +08:00

@love

测试了一下 asyncio 性能渣渣....并发2000都顶不住

heqing

2014-07-31 11:39:08 +08:00

用Scrapy, 安装一个Python 2.7即可。