V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
toarya
V2EX  ›  Java

接口接收稿件数据批量入库,接口和数据库(类似 hbase)之间用什么做中转比较好

  •  
  •   toarya · 2021-06-08 19:09:02 +08:00 · 1251 次点击
    这是一个创建于 1024 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前有个需求是提供一个稿件的入库接口,然后入到一个闭源的类似 hbase 的数据库中,由于某些原因,接口和入库过程要解耦,所以需要中转一下,一种方案是接口端把 json 写入文件,logstash 读取,然后 output 输出到一个 http 接口,然后入库。另一种是接口把稿件数据扔到 kafka 里,然后接口端拉数据入库。

    总体量大概一天 1~2w 篇,不算大,但是字段比较多,正文会大一点。领导要求尽量保证数据不丢失。 感觉走 logstash,如果 output 对应的接口挂掉,容易大量重试,比较麻烦。然后走消息队列,感觉作为消息体似乎有点大,而且不知道会不会被撑爆导致里面数据丢失(做持久化可解决?)

    想求教一下,哪种方案合适一点,或者说有啥更合适的方案更好。

    谢谢诸位。

    3 条回复    2021-06-11 13:34:32 +08:00
    VonemSnake
        1
    VonemSnake  
       2021-06-09 09:55:10 +08:00
    kafka
    dayeye2006199
        2
    dayeye2006199  
       2021-06-09 15:02:59 +08:00
    消息队列
    SnailTest
        3
    SnailTest  
       2021-06-11 13:34:32 +08:00
    消息队列分批收
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3149 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 12:39 · PVG 20:39 · LAX 05:39 · JFK 08:39
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.