Scrapy 项目中有多个 spider ,某些 spider 在处理 response 的时候会出现异常(如 xpath 解析后得到空的 list ,这时去 list[n]的时候就会抛 Indexerror ),有没有什么办法可以统一管理这些异常? 自己写 SpiderMiddleware , spider 抛出异常的时候 process_spider_exception 方法并没有被触发...... 求建议~
1
zhuangzhuang1988 2016-11-04 18:31:25 +08:00
pycharm 调试下流程就好了.
|
2
knightdf 2016-11-04 20:05:03 +08:00
scrapy,直接看源码的,很清楚的
|
3
1130335361 2016-12-02 17:38:25 +08:00
|
4
mudy 2019-04-11 16:16:23 +08:00
请问你找到解决办法了吗?谢谢!!!
|