这是一个创建于 1635 天前的主题，其中的信息可能已经有所发展或是发生改变。
经过采样得到这样一组数据[1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,2,2,3,5,6,14,45,67,88,99,123,1111,2343]
这些数表示某件事情发生的次数，实际上这个数组长度是百万级别的。由于像 1，2，3 这种出现次数少的没有意义。所以要删除。现在问题是应该怎么样去找临界值。比如是应该把 10 以下的数不要了，还是把 100 以下的数不要。
第 1 条附言 · 2020-05-26 15:51:21 +08:00
业务场景：寻找 ddos 攻击源。
那些数字可以看成某一个 ip 发送的 syn 包的数量。
真实数组中最小的只有 1，最大的 2400000 。
其中小于 10 的占比超过 2/3 。
所以问题就是找一个临界值，把多少一下的可以忽略。
那些数字可以看成某一个 ip 发送的 syn 包的数量。
真实数组中最小的只有 1，最大的 2400000 。
其中小于 10 的占比超过 2/3 。
所以问题就是找一个临界值，把多少一下的可以忽略。
 |
1
wysnylc 2020-05-26 15:33:20 +08:00
你的业务我们怎么知道?
|
 |
2
dolphintwo 2020-05-26 15:36:11 +08:00
我帮你决定吧，把一万一下的不要了，比较清爽
|
 |
3
andy12530 2020-05-26 15:36:33 +08:00
25 分位数，75 分位
|
 |
4
across 2020-05-26 15:40:49 +08:00
条件是不是少了···
比如你数字都在 10000 以内，直接建个数组统计一遍就得了 |
 |
5
black11black 2020-05-26 19:04:47 +08:00
百万级远没到计算机性能瓶颈，问了白问，我感觉你这个问题改成百亿级还有点讨论的价值。。
|
 |
6
JackieMe 2020-05-26 21:31:50 +08:00 via Android
找个分布拟合一下，泊松分布二项分布什么的，然后切掉最小的 5%？
|
 |
7
dbw9580 2020-05-26 21:58:52 +08:00 via Android
时间序列？和滑动平均数比较
|
 |
8
Jooooooooo 2020-05-26 22:01:54 +08:00
其实是找异常点, 建议你用四分法和 LOF 一起搞一下, 基本上就差不多了
|
 |
9
CopenhagenCat 2020-05-27 10:32:47 +08:00
四分位距 IQR，可以尝试一下
|
Select Language