用什么数据库存储访问日志做分析比较好？

[richiefans]

不是web server的日志 是经过加工后的业务日志 数据量一天在几百万 需要做统计分析

目前用的是mysql 不知道数据量大了之后 性能如何？

大家都用的是什么？求方案求推荐

[feiandxs]

问到我心坎儿里去了= =
目前是原始文件打包，近几日的进memcach...
没楼主那么大，所以memcache还足够用。但也怕断电，就要重新抓，很麻烦。
用mysql塞过web日志，其实还行，但目前我更倾向于用mongodb了。
mark一下，坐等看各路高手经验。

[ritksm]

mongodb+redis...

[phuslu]

之前一个项目用的 mongodb, 按分钟压缩保存 raw log 和 summarized info, 30 TB.
感想就是 mongodb cluster 部署和维护成本很高.

[richiefans]

@ritksm @phuslu
落伍了，我只是了解了下mongodb，redis，还没实际用过
貌似redis累死K-V存储
mongodb 貌似是可以按行存数据 按条件查询的

这样看来 mongodb貌似是可以的

[richiefans]

@feiandxs
放到memcache 如何做查询分析啊？

[ritksm]

@richiefans redis是有数据结构的。。。不是简单的k-v。。。我的做法是。。。mongodb存当天的。。。然后分析出来一堆结果。。。然后把可以distinct的值存到redis里面做周的分析。。。然后周-》月也一样。。。当然。。。如果硬盘足够大。。。可以完全用mongodb完成。。。

[haijd]

postgresql

[aveline]

我是mongodb...觉得存储成本有点高

[twm]

mysql足够

[ioiioi]

logstash + elasticsearch, elasticsearch可以做cluster，logstash可以做过滤和规整。
这两天我正在实践，网外有不少成功案例。

[zxp]

最近很火的 splunk，不管什么日志数据，只要用各种方式扔给Splunk，剩下的工作就交给这个号称IT界的Google来处理了。详见 http://zh-hans.splunk.com/

[superisaac]

纯文本啊，用一堆脚本去分析。有必要用数据库？

[superisaac]

或者用mysql archive engine, 只支持insert 和select, 压缩率比myisampack大。

[AntiGameZ]

splunk+1, 但是很贵，如果超过500m/天的quota