V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  PriestTomb  ›  全部回复第 9 页 / 共 9 页
回复总数  180
1  2  3  4  5  6  7  8  9  
@sr0miao [捂脸] 我测试了一下,还真的是这样,配置多个插件仿佛是有个先后顺序,前一个失败或卡住,就不会走到下一个。。是我的锅,我之前还真没测过这种场景。。这几天我再研究下 Logstash 的逻辑

不过配置多 pipeline 实例一起运行的情况,官方说过一个比较推荐的场景,就是这些 pipeline 处理的数据来源最好是不一样的,比如一个 pipeline 接收 Filebeat 的数据,输出到本地文件;另一个 pipeline 接收 http 传入的数据,而输出到 es 等等。

我看了下你发的文章,你目前的场景用输出隔离模式貌似是能完美解决,只是会带来一定的性能开销
@sr0miao 回想了一下我这边使用的一些场景,确实还没有遇到过“某一个 output 出问题”的情况,一会儿我测试一下

另外,Logstash 在启动的时候输出的日志里是能看到版本的
@sr0miao
output{
redis1{}
redis2{}
}
正常的配置是这样

所以你的需求是 Logstash 采集的数据同时往多个 redis 去写么?我在用的是 6.4 版本,可以实现 output 模块配置多个插件,你用的是哪个版本?

比较新的版本有一个 pipelines.yml 配置文件,根据配置的 pipeline.id 不同可以实现同一个 Logstash 进程启动多个 pipeline 实例,每个实例根据不同的配置文件做不同的日志采集处理
没怎么写过回复。。V 站的回复不是 markdown 么。。抱歉上条的链接有点炸,单发下

https://github.com/logstash-plugins/logstash-output-redis/blob/92203ab42c97d83ff46414a99dbf271b8e8dd531/lib/logstash/outputs/redis.rb#L227
作为没用过 logstash-output-redis 插件但用过 Logstash 的人。。你这个问题的描述有比较大的分歧

你这三个 redis 是同时配置在一个 redis 插件里( 例如 host => ["redis1", "redis2", "redis3"]),还是同时配置了三个 redis 插件,每个插件的 host 配置了一个 redis ?

Logstash 的 output 配置是可以多个的,数据经过 input -> filter 之后是同时传递给多个 output 插件的,不是说第一个 output 插件失败就不继续执行后面的 output 插件了(不是串行)

所以你如果配置多个 redis 插件,就不用纠结这个问题

如果你是第一种配法,可能要看下插件的处理逻辑,一个 redis 写入失败的时候会不会自动重连到另一个 redis 重试写入,还是具体什么逻辑
2019-06-26 10:54:03 +08:00
回复了 Livid 创建的主题 V2EX 关于你的宝贵生命
突然挖坟。。
2019-06-17 19:30:23 +08:00
回复了 xizon 创建的主题 ACG 动漫求推荐一些啊~~感谢
推个老番《记录的地平线》
《关于我转生后成为史莱姆的那件事》也+1
+1 很烦这个问题了
ES 启动有很多检查项,你可以参考下 https://www.elastic.co/guide/en/elasticsearch/reference/current/bootstrap-checks.html,是不是 jvm 相关的配置导致没成功启动
2019-05-28 11:50:21 +08:00
回复了 uc2664360 创建的主题 程序员 闲来无事撸了个图片小工具玩玩
有点意思。。
1  2  3  4  5  6  7  8  9  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1112 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 29ms · UTC 18:28 · PVG 02:28 · LAX 10:28 · JFK 13:28
Developed with CodeLauncher
♥ Do have faith in what you're doing.