看来我每个月1亿多的量,和你们每个月抓取15-30亿条相比,还是你们的危害更大!哈哈!

又来顶一个，哈哈！

顶一个

@imaygou 可以加你上面的qq聊下吗，有冲动想换换环境。

@imaygou hi,上次说反馈bug,邮件已发你们hr邮箱，bug依然存在

@binux 第一次分享出来的时候，就拉到本地测试过，环境啥的都好了，就是页面没反应，然后搞了几个月的scrapy,这次再试试。

@imaygou 等我下班，看能不能把错误重现出来，再发邮件给你们。对你们的爬虫工程师很感兴趣，前端时间才倒腾完scrapy扒各大app市场的数据！不过对js引擎这块不是很熟！而且刚在公司转正！希望以后来你们公司！

@imaygou 貌似你们的客户端软件在没网的情况下打开，会报java异常

44

已star

对的，实质还是公寓，只不过环境好点，可以长租@kmvan

貌似你可以代充值paypal哇，想冲点，激活digitalocean @janwen

@pc10201 http://doc.scrapy.org/en/latest/topics/request-response.html

楼主的意思我懂，你这种做法其实也是可以的，官方是推荐都能通过自己的requests管理，如果有额外的参数，你可以通过request的meta属性来yield给下个request，然后在response中取出来，这样你就可以是一个item.不过你这种情况可能传递的内容比较多，效率比较低。

小手一抖，多谢 lipei.love#gmail.com

其实作者有提供的，
class SelectiveProxyMiddleware(object):
"""A middleware to enable http proxy to selected spiders only.

Settings:
HTTP_PROXY -- proxy uri. e.g.: http://user:[email protected]:port
PROXY_SPIDERS -- all requests from these spiders will be routed
through the proxy
"""

def __init__(self, settings):
self.proxy = self.parse_proxy(settings.get('HTTP_PROXY'), 'http')
self.proxy_spiders = set(settings.getlist('PROXY_SPIDERS', []))

@classmethod
def from_crawler(cls, crawler):
return cls(crawler.settings)

def parse_proxy(self, url, orig_type):
proxy_type, user, password, hostport = _parse_proxy(url)
proxy_url = urlunparse((proxy_type or orig_type, hostport, '', '', '', ''))

if user and password:
user_pass = '%s:%s' % (unquote(user), unquote(password))
creds = base64.b64encode(user_pass).strip()
else:
creds = None

return creds, proxy_url

def process_request(self, request, spider):
if spider.name in self.proxy_spiders:
creds, proxy = self.proxy
request.meta['proxy'] = proxy
if creds:
request.headers['Proxy-Authorization'] = 'Basic ' + creds




然后再在你的settings.py里配置：
HTTP_PROXY='your_proxy'
PROXY_SPIDERS=[your_spider_names]



不过整体和你的思路一样