[日志] 关于日志查询系统选项的几个疑问， ES 系 与 Loki 系。

[justdoit123]

最近要给公司搭建日志查询系统。几点疑问请教各位。

1. 日志查询系统里的数据一般存放多久的日志？我们的日志有原始备份在 s3 上，查询系统上的数据是不是就可以定期删除掉了？

2. Loki 动态标签问题。Loki 不推荐动态标签，其理由是影响性能、增加索引体积。但是我怎么感觉少了动态标签，查询就很鸡肋。下面是我的想法，不知道符不符合实践经验，望指正！想法：

   a. 分布式系统，少不了要用 reqeustId 去链接起一个请求经过不同服务产生的日志。

   b. 不同的子业务，会有不同重要的数据 ID 。比如，一个订单系统的请求，打印出来的每一条日志，至少都要带上订单 ID 吧？这类数据 ID 也是动态标签。

   c. 如果这些动态数据都不用 labels ，而是用正则匹配 log 内容查询。个人直觉告诉我，这个有点鸡肋。

3. 如果用 Loki 索引动态标签。数据量大的时候，性能会不会比 ES 拉跨？

两个种服务都在本地实验性的搭建起来过。

Kibana 确实感觉有点吃性能，web 页面还偶尔会有点卡卡的，功能很多眼花缭乱（不过这个可以选择使用，逐步深入），但是查询的功能确实更强大。

Loki 真的很轻量就是不知道这动态标签用起来之后，会不会卡。不过查询真的差点意思。

相关文章：

V2: 最近我安装了 Loki + Promtail + Grafana ，感觉这一组合可以取代 Elasticsearch + Logstash

V2: Grafana Loki 开源日志聚合系统代替 ELK 或 EFK

掘金：Loki 最佳实践（译）

[Mi1kTea]

查询系统的一般存个 7 天吧，方便排查问题，既然有 s3 的备份，原始数据确实可以删了，节省些成本

不过我们业务量不大的情况下，loki 查询还是比较爽的，不比 es 差，业务量很大的情况暂时还没用过 loki ，还是用的 es

[justdoit123]

@Mi1kTea 谢谢～

[jigege2019]

loki 遇到数据量很大，就很吃硬盘，在对象存储中生成超级多的小文件，想删除都删除不了，删除都卡很久都没删除掉，只有重装系统。。
最近用了 graylog 感觉还可以

[justdoit123]

@jigege2019 谢谢反馈 loki ～

最后已经搭建了 ES 。