这是一个创建于 2484 天前的主题,其中的信息可能已经有所发展或是发生改变。
我的理解 engine.scraper.slot.active_size 是 engine.scraper.slot.active 中的抓取器处理的响应大小。
但是用 telnet 查看爬虫时发现 engine.scraper.slot.active 一直是 0,但是 engine.scraper.slot.active_size 的值确越来越大。
有没有哪位朋友碰到过这种情况呢?想咨询下造成这种问题的原因。
谢谢
1 条回复 • 2018-03-19 11:26:29 +08:00
|
|
1
xiudou 2018-03-19 11:26:29 +08:00
做个结帖。 这个问题的原因是:出于某种原因,我们在处理 response 时,替换了 body,导致最后 scraper 减去的 response 的 size 于了下载器下载的大小。当出现较多处理时,会当值 active_size 超过了 5M 的阈值。会造成爬虫一直卡住,不处理下一个请求。 这个问题一般也不会出现,大家可以忽略。
|