V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
z1421012325
V2EX  ›  Python

redis 分布式爬虫你们有没有遇到跑了一段时间 在 redis 库中出现指纹和请求都消失了的情况吗?

  •  1
     
  •   z1421012325 · 2019-07-01 19:14:08 +08:00 · 1877 次点击
    这是一个创建于 1732 天前的主题,其中的信息可能已经有所发展或是发生改变。

    半夜跑一个爬虫,第二天起来发现已经关闭了,数据也没有抓很多,但是 redis 数据库中的指纹都没有了,不是不主动清楚不会给清掉的吗?

    还有 如果出现一些问题,比如 ip 池抽风了 很久没有更新了,但是爬虫还在用这个, 出现一堆"远程主机无法连接"导致卡住,是不是程序会在一定时间(30 分钟)自动关闭啊?


    更新一个问题 分布式爬虫,但是 redis 数据库中只有 requests,没有指纹是咋回事?没有改源码

    主文件修改 http://i1.fuimg.com/691087/2aae1d23cd8fe1ea.png

    settings 文件修改 http://i1.fuimg.com/691087/3d03a6e6d2c679f2.png

    6 条回复    2021-01-04 10:29:33 +08:00
    z1421012325
        1
    z1421012325  
    OP
       2019-07-01 23:27:30 +08:00
    更新--->>>>貌似是 redis 库的问题 爬了 4 个小时,最好 redis 库中的指纹消失了,我没与重启服务器过..
    ebingtel
        2
    ebingtel  
       2019-07-02 08:46:06 +08:00
    @z1421012325 是 redis 数据“库”的问题,还是 redis 客户端“库”的问题?
    z1421012325
        3
    z1421012325  
    OP
       2019-07-02 13:29:03 +08:00
    @ebingtel 分布式爬虫我的数据是放在 mongodb 中的,所以是存放指纹的数据库问题,

    更新一下,爬了五个小时 之后再去看发现数据库中的指纹都没了..
    yumenoks
        4
    yumenoks  
       2019-07-12 21:57:50 +08:00
    只有我是用 aiohttp 撸简易的分布式爬虫吗?..
    no13bus
        5
    no13bus  
       2021-01-04 10:28:04 +08:00
    @z1421012325 加个微信,聊聊这块?我的微信 no13bus
    no13bus
        6
    no13bus  
       2021-01-04 10:29:33 +08:00
    @yumenoks 嘻嘻。能否加微信聊聊呢?我也正在写 python 相关的抓取逻辑
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5369 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 08:02 · PVG 16:02 · LAX 01:02 · JFK 04:02
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.