这是一个创建于 2058 天前的主题，其中的信息可能已经有所发展或是发生改变。
假设每条日志包含一个五元组和一个时间戳，每天百亿级别。查询场景分两种：
- 查询访问某个目的 ip 的源 ip
- 查询某源 ip 访问果哪些目的 ip
目前想到的是直接怼进 es，有木有其他更好的方案？
 |
1
kkjinping 2019-03-19 17:55:20 +08:00  1
上 ELK
|
 |
2
hbsfxlz 2019-03-19 18:06:21 +08:00 1
HBASE，存 2 份或者做二级索引
|
 |
3
zclHIT 2019-03-19 18:14:59 +08:00 via iPhone 1
HBASE，非常适合时序场景
|
 |
4
moonfly 2019-03-19 19:31:31 +08:00 via iPhone 1
每天百亿级别，这是什么场景下的网络行为审计？
|
 |
5
murmur 2019-03-19 19:34:48 +08:00 1
我也好奇楼主的场景 能达到日千万访问量的公司都不应该有这个问题 我们自己做电力的实时数据 数据量也才千万级 测点上万 都 达不到日百亿
|
 |
6
HuHui 2019-03-19 19:37:34 +08:00 via Android
这种场景来 V2EX 问？
|
 |
7
jeffersonpig 2019-03-19 19:41:11 +08:00
楼主是建墙的吗
|
 |
8
Mac 2019-03-19 19:44:32 +08:00 1
楼主是孟姜女的老公没跑了，大家开怼。
|
 |
9
0ZXYDDu796nVCFxq 2019-03-19 19:48:01 +08:00 via Android
记录的是『连接』，这个量级，gfw ？
|
 |
10
saulshao 2019-03-19 20:37:26 +08:00
楼主的问题听起来确实是 GFW 才有的......
|
 |
11
zyp0921 2019-03-20 08:35:48 +08:00
请问是方校长吗？
|
 |
12
berumotto 2019-03-20 09:20:50 +08:00
细思极恐 楼主是干什么的
|
 |
13
windfarer 2019-03-20 10:07:46 +08:00
建议接入学什么强国
|
 |
14
henglinli 2019-03-20 13:23:39 +08:00 via iPhone
小心有诈
|
 |
15
buhi 2019-03-20 13:31:43 +08:00
这个数据量, 是监控强国人脑电波的系统吗?
|
Select Language