V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
yuandj
V2EX  ›  程序员

日志收集系统 Fluentd & td-agent 内存占用逐渐增长是什么原因呢?

  •  
  •   yuandj · 2021-07-27 15:16:21 +08:00 · 1220 次点击
    这是一个创建于 976 天前的主题,其中的信息可能已经有所发展或是发生改变。
    • 1 、有多台机器,用同一镜像装的系统,负载均衡的同一个项目,只有最近新建的几台机器会有这种情况。
    • 2 、查看 td-agent 日志,大多时间并没有报错。版本是 fluentd (0.12.40),偶尔报错:
    buffer flush took longer time than slow_flush_log_threshold: plugin_id="object:3fc788a54800" elapsed_time=21.867602169 slow_flush_log_threshold=20.0
    
    • 3 、下图是 TOP 命令,ruby 程序占用内存会逐渐增长,直至服务器内存打满。 img
    • 4 、下面是 td-agent 状态 img 5 、下面是配置文件:
    <source>
        type forward
        port 24224
        bind 0.0.0.0
    </source>
    ###加了下面这个 match 后,才出现内存增长的情况,但所有服务器都加了,只有最近建的机器才会出现
    <match php.try.master.data.*.*>
        type forward
        send_timeout 10s
        recover_wait 10s
        heartbeat_interval 1s
        phi_threshold 16
        hard_timeout 60s
        buffer_type memory
        buffer_chunk_limit 8m
        buffer_queue_limit 512
        flush_interval 1s
        <server>
            name data-log
            host 10.10.173.37
            port 24224
            weight 60
        </server>
    </match>
    
    <match php.**>
        type forward
        send_timeout 10s
        recover_wait 10s
        heartbeat_interval 1s
        phi_threshold 16
        hard_timeout 60s
        buffer_type memory
        buffer_chunk_limit 8m
        buffer_queue_limit 64
        flush_interval 2s
        <server>
            name php
            host 10.10.12.49
            port 24224
            weight 60
        </server>
    </match>
    

    新增了 match 之后, 最近新增的几台机器,内存偶尔会一直增长(一般出现在项目部署后),其他几台老机器没有任何问题。

    是配置文件有问题吗?

    yuandj
        1
    yuandj  
    OP
       2021-08-06 18:39:50 +08:00
    还是服务配置问题,调整和添加了以下参数解决了:
    新增:
    num_threads 2 # 处理线程数
    修改:(可以根据实际情况修改)
    buffer_chunk_limit 16m
    buffer_queue_limit 512
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5312 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 44ms · UTC 09:08 · PVG 17:08 · LAX 02:08 · JFK 05:08
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.