V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
realfreesky
V2EX  ›  程序员

想自己搞一个日志分析系统,各位 v 友有什么好的建议不

  •  
  •   realfreesky · 2016-03-02 09:06:29 +08:00 · 4455 次点击
    这是一个创建于 2949 天前的主题,其中的信息可能已经有所发展或是发生改变。
    18 条回复    2016-03-08 17:05:30 +08:00
    xiamingchong
        1
    xiamingchong  
       2016-03-02 09:07:46 +08:00
    上 elk
    noahzh
        2
    noahzh  
       2016-03-02 09:08:20 +08:00
    上 elk
    lovelynn
        3
    lovelynn  
       2016-03-02 09:12:26 +08:00
    什么日志,中间件日志某 60 的星图还是不错的。
    dyingbleed
        4
    dyingbleed  
       2016-03-02 09:30:49 +08:00
    ElasticSearch + Logstash + Kibana
    knightdf
        5
    knightdf  
       2016-03-02 09:40:53 +08:00
    有 logstash 好吗?
    jy01264313
        6
    jy01264313  
       2016-03-02 09:46:31 +08:00
    推荐看一下 google dapper ,开源的有 twitter 的 zipkin
    yuankui
        7
    yuankui  
       2016-03-02 09:48:19 +08:00
    你想要怎么分析?
    chinajik
        8
    chinajik  
       2016-03-02 10:06:55 +08:00
    面板推荐 grafana 这个适合生产线各种需求
    HunterPan
        9
    HunterPan  
       2016-03-02 10:10:01 +08:00
    flume+kafka+storm,听说 es 也很不错
    lucifer4he
        10
    lucifer4he  
       2016-03-02 10:23:06 +08:00
    上 ELK + 1
    tonyVex
        11
    tonyVex  
       2016-03-02 10:23:47 +08:00
    flume+kafka+storm 这个常听说的。
    hantsy
        12
    hantsy  
       2016-03-02 12:22:21 +08:00
    现在这种东西好多, LogEntries 等
    hantsy
        13
    hantsy  
       2016-03-02 12:22:58 +08:00
    1. 收集有效的 LOG
    2. 可视化分析结果
    mofeiwo
        14
    mofeiwo  
       2016-03-02 14:12:35 +08:00
    如果量不大的话,可以 splunk
    hienchu
        15
    hienchu  
       2016-03-02 14:17:17 +08:00
    ELK Stack 在用,比较成熟了,日志格式不复杂的话开发成本很低(主要是正则)
    jings
        16
    jings  
       2016-03-02 14:39:43 +08:00
    正则 +1
    匹配+不匹配+时间+支持并行查询
    日志存储 日志压缩 日志备份这些也要考虑吧
    crayhuang
        17
    crayhuang  
       2016-03-02 18:40:49 +08:00
    @dyingbleed 一样 ElasticSearch + Logstash + Kibana + 1
    gushan
        18
    gushan  
       2016-03-08 17:05:30 +08:00
    可以考虑下阿里云日志服务。
    1 )提供了简单接入客户端( https://yq.aliyun.com/articles/3228?spm=5176.team4.teamshow1.37.faH93Z
    2 )日志收集到服务端后提供多种消费方式:数据通道(类 Kafka )/数据投递( ODPS 、 OSS-组合 E-MapReduce Spark )/实时搜索( https://help.aliyun.com/document_detail/sls/user-guide/overview.html
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5051 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 37ms · UTC 09:36 · PVG 17:36 · LAX 02:36 · JFK 05:36
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.