V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
deepall
V2EX  ›  Python

hadoop 的 lease 机制

  •  
  •   deepall · 2019-12-24 12:14:02 +08:00 · 2661 次点击
    这是一个创建于 1557 天前的主题,其中的信息可能已经有所发展或是发生改变。
    我使用 scrapy-redis 开发了一个分布式爬虫,并分别部署在 4 个 docker 中,抓取程序中的 pipeline 负责连接 hadoop 并将数据追加到 hadoop 中,但因为是分布式的存在,必定会造成同一时刻有多个 client 操作同一个 file,就违反了 hadoop 的 lease 机制,从而造成数据入库失败,大家有什么办法解决吗
    6 条回复    2019-12-24 14:33:35 +08:00
    vveexx
        1
    vveexx  
       2019-12-24 12:57:15 +08:00   ❤️ 1
    和楼主的场景类似,我们走了 kafka,多生产者,单个消费者
    hdbzsgm
        2
    hdbzsgm  
       2019-12-24 12:59:38 +08:00   ❤️ 1
    简单场景 随便用个单点 redis 做锁喽
    deepall
        3
    deepall  
    OP
       2019-12-24 13:21:05 +08:00
    @vveexx @hdbzsgm 谢了两位,我还担心我说的无法理解,多个生产者,单个消费者,精辟
    liprais
        4
    liprais  
       2019-12-24 13:22:24 +08:00
    没这么复杂,每个爬虫自己写自己的文件最后合起来处理就行了
    deepall
        5
    deepall  
    OP
       2019-12-24 13:26:52 +08:00
    @liprais 你是这个意思吗,爬虫来一条数据,写入文件,最后在某个固定时间点 upload 到 hadoop 上
    Leiothrix
        6
    Leiothrix  
       2019-12-24 14:33:35 +08:00
    用 redis 实现一个简单的分布式进程锁可解,用 lua 脚本保证操作原子性
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5458 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 07:43 · PVG 15:43 · LAX 00:43 · JFK 03:43
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.