首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
广告
joocejie
V2EX  ›  分享创造

开源一个云环境网络流量镜像项目 Packet-Agent（参与送 PS4）

  •   
  •   joocejie · 2019-09-12 16:03:31 +08:00 · 19806 次点击
    这是一个创建于 1898 天前的主题，其中的信息可能已经有所发展或是发生改变。

    项目背景

      传统网络数据分析会在交换机上配置网络数据镜像， 将 Packet 复制后发送到目标机器，实现网络流量镜像的功能。
      而在云平台上，目前网络数据采集还没有统一的方案。针对私有云平台，目前有流表数据包复制采集、在 hypervisor 上监听采集、vmware 平台分布式虚交换机配置采集、libpcap 抓包采集等方案。
      对于 vmware 平台分布式虚交换机配置采集的方案，性能较好，不占用客户机资源，但其属于商业产品，且只适用于购买 vmware 私有云用户；而在 hypervisor 上监听采集，目前有产品开发，性能较好，但只适用于 OpenStack 私有云；采用 OVS 流表方案，优势是免费，不占用客户机资源，但是配置复杂，且只能用于 OpenStack 私有云。
      因此，开发基于 libpcap + GRE 封装转发的应用，或许是云平台目前最优的网络流量镜像方案。其使用简单、开源、适用于各类公有云和私有云。

    Packet-Agent 简介

      Netis Packet Agent ( https://github.com/Netis/packet-agent) 基于 libpcap 技术，从业务网卡抓包，进行 GRE 封装后将采集到的数据包发送到另一台远端机器，供分析使用。

    Docker Kubernetes 支持

      Packet-Agent 对 Kubernetes 也提供了支持方案。简单来说，Packet-Agent 封装成容器后，与需要监控的业务容器放在同一个 K8S Pod 中，与其共享网络层并抓包镜像网络流量。
      具体方案见项目文档：K8S_traffic_mirror

    参与 Packet-Agent 项目

      欢迎大家参与此项目，包括 star, fork, 提交 pull-request, 报告 bug, 提出任何意见或建议，或者将该项目介绍给相关的朋友。衷心感谢。

    抽奖回馈社区

      为感谢大家的支持，抽奖送一台 PS4 主机，抽奖方法如下：

    1. 在这个帖子下面回复参与讨论。
    2. 获奖资格：从现在起到 2019/09/18 23:59:59 参与讨论的前 500 名用户具有获奖资格。
    3. 中奖号码 = 2019/09/19 日 A 股大盘收盘点数 * 100 % 所有具有获奖资格的用户排序去除重复后的总数（'*'是乘法，'%'是数学取余数）
    4. 比如：有 @y_user @x_user @z_user @x_user 3 个用户依次回复了 4 次，那么所有具有获奖资格的用户排序去除重复后就是 @x_user @y_user @z_user，分配给他们的抽奖号码依次是 0，1，2。假设 A 股收盘点数是 3012.34 点，那么 3012.34 * 100 % 3，中奖号码就是 1，中奖用户就是 @y_user
    5. 提示：因为会排序去重，多次回复不会增加中奖概率。
    第 1 条附言  ·  2019-09-18 17:11:23 +08:00
    前 500 位名单如下，依次编号 0~499：

    0hey0：编号 0
    0ps：编号 1
    0x3f3f
    1005gel
    109109
    12
    123s
    1more
    1rror
    284376485
    3CH0
    402645707
    40huo
    49degree
    7gugu
    810244966
    8629
    99911a
    AJDX3906
    AaronLiu00
    Ahs
    Ahy
    AidenChen
    AlexaZhou
    AmadeusGhost
    AnonymousM
    Believer
    BoiledEgg
    BriFuture
    ChenXuting
    ChristopherWu
    CoCoMcRee
    Coande
    CodeWind
    CrazyRain0001
    Cyron
    Despacito
    DrJoseph
    DreamSpace
    E1n
    ESeanZ
    Famio
    Flyerwzb
    FuryBean
    FuturesXu
    G1n233
    GM
    Hauserkk
    Hugehard
    IDCFAN
    ITJoker
    Isight
    JKing
    JL1990
    JasperYanky
    Jiuyu
    Joker3120
    JunkLeo
    JusticeShi
    Juszoe
    KasuganoSoras
    Keyes
    Kimiato
    KingPL
    Kinnice
    LWXYFER
    LXVC
    LazYFire
    Licsber
    LinusTor
    Lisylfn
    LittleYangYang
    MITOO
    Macolor21
    MiaRunis
    Mikewu
    MioAkiyama
    Motoi
    MrMario
    MyFaith
    Nasei
    NoirStrike
    OrangeM21
    Orenoid
    PeterPig
    PickMio
    PlayByMyself
    PyCode
    RanchoTuring
    Realucas
    Rehtt
    Rheinmetal
    SaberJack
    Sanko
    Saszr
    Shunte
    SmallZheng
    Suvigotimor
    TangCuYu2333
    Tenlp
    TheWalkingDead
    Themyth
    Tink
    Tong16
    UnknownR
    Vanctol
    VermouthcZzz
    WhyLiam
    Wien
    WilliamYang
    XSG
    YFeei
    YenvY
    Yorkzhu
    Zainxu
    ZiLong
    Zsh110
    Zzdex
    aWangami
    aaaaaaaaa
    abelce
    actar
    acz154
    ahaxzh
    alexzhan
    alikesi
    allencloud
    alpha2016
    alschw
    anjiannian
    anoper
    archknight
    arfaWong
    aru
    atan
    az422
    azh7138m
    azuginnen
    b1gCi
    b1rdb0y
    baixiaoyu2997
    blueset
    bobsam
    bolshevik
    bomb77
    bullettrain1433
    buried
    bxb100
    byron
    c
    c0878
    carbon
    caserest
    cbangchenLL7
    cc3630
    chanots
    chashao
    chinafeng
    chinvo
    chuanqirenwu
    chy373180
    cjc2017
    cjpjxjx
    cmllwxxl
    cnbattle
    co3site
    codereric
    controller
    coolair
    cornelia
    corningsun
    cosmo
    crabtsk
    crs0910
    csx163
    cxh2000210
    cxy1234
    cyssxt
    d5
    dabaibai
    dewi
    dixeran
    dontbesad
    dream7758522
    drlalll
    duola
    einvince
    elbertzhu
    epicSoldier
    eptwd
    everydiao
    ezioruan
    falcon05
    fatelight
    fathuman
    fcj558
    feifan00x
    felixcode
    fghshunzi
    fhvch：编号 199
    第 2 条附言  ·  2019-09-18 17:11:53 +08:00
    fire2y：编号 200
    fishofcat
    flxxy
    fo3xx
    frostcake
    gIrl1990
    galenzhao
    gangsta
    gaobh
    gcod
    gdcbhtd
    geekzjj
    gleox
    goodryb
    gotounix
    gstqc
    guoluwei
    gxvv
    h4lt
    hangvane
    haofly
    harryge
    harryge01
    hebin
    hebingchang
    hedys
    hfutzj
    hillw4h
    hohoho
    huadi
    huishu
    huiwl
    hzwjz
    i0error
    iAcn
    iThink
    iakisey
    iamalive2008
    icekingcy
    ifulikeweirdo
    il1707
    ilixin
    illl
    imNull
    imay
    ittianyu
    iture
    ivanyin
    iwtbauh
    javashell
    jaylong
    jerrodpoole
    jiang123574
    jiangming1399
    jiexixijie
    jiezhi
    jimages
    jjxh
    jkbspin
    johnnie502
    joocejie
    jsdtxm
    jsnjfz
    jsonzz
    just1
    justin2018
    kaixuan1901
    kakudesu
    kalagxw
    kebyn
    killeder
    killerzhangsan
    koalaMagic
    kohos
    koromon
    kraymond
    ksedz
    kukat
    kutear
    laowei222
    ldm0
    leafleave
    lee82014312
    leesh853761
    lilihangzhou
    linpm
    litao3rd
    littleghosty
    liu19931020
    liujiajun1999
    liuymf
    livexia
    lixile
    ljlljl0
    lmaq
    lockerhyz
    lostexile
    loveyu
    lqzhgood
    lrvy
    lscho
    luckybo
    luoqing1477
    luozic
    lycc
    lyuehh
    lzy4happy
    manhere
    maohhgg
    maooyer
    marsLeo
    mason961125
    meeken
    menyakun
    mhcyong
    ming7435
    miragetu
    mlhadoop
    moln
    molvqingtai
    monkey2
    moonrailgun
    morethansean
    moryxsw
    mosesyou
    movax21h
    mpb
    mrcn
    mulei200
    mulu
    mymike
    mynamewang0
    mywaiting
    n37r06u3
    nameldk
    natforum
    nomoon
    nooper
    oIMOo
    octobersnow
    okjb
    oovveeaarr
    orcinusorca
    orient
    pandachow
    phithon
    pinkward
    plaknight
    poison123
    polythene
    ponder
    ptlkStar
    qdpoboy
    qiangmin
    qinghon
    qmake
    qq29701
    qq625692420
    raffaellolin
    rainfox
    ranleng
    rapperx2
    reticentfat
    richard1122
    rinsingw
    rjie2008
    rosu
    ruiyinjinqu
    runningding
    ryV60s
    saberlove
    salmon5
    scoful
    sdandroid
    select
    sep9999
    set01
    setsena
    sevenphp
    sgq1128
    shadowyue
    shdcn
    shell314
    shishen10
    shuaizi
    sike03
    siknet
    silaike
    silenceboychen
    singerll
    sixm
    slwl123
    smilzman
    sniperking1234
    songjiaxin2008
    spemoon
    squallsdjl
    sreal
    st4rg4z3r
    standin000：编号 399
    第 3 条附言  ·  2019-09-18 17:12:21 +08:00
    starrycat：编号 400
    stayreal
    steptodream
    stevenbipt
    sun522198558
    suyuyu
    swulling
    syy
    tailaqumos
    tangtj
    test23
    tetora
    tf141
    tfdetang
    thoutherKai
    thulof
    tingchina
    tongz
    tookbra
    totopo
    tsukiikekaoru
    tt0411
    tuot
    tyhunter
    tyx1703
    uhian
    unknownservice
    uptime
    vast0906
    vcinex
    vipdog73
    vipwpcom
    visitant
    vjnjc
    vstar
    wangxxxing
    wanyulaowang
    weixingna
    whtsky
    wingoo
    wlw0327
    wojfsdj
    wph95
    wuYin
    wwek
    wy53
    wzw
    x2ve
    xddxdd
    xduanx
    xiangchen2011
    xianxianyu
    xiaobanlong
    xiaodog
    xiaome
    xiaonec
    xiazero
    xiazhiisgood
    xiongbiao
    xiri
    xiubin
    xml123
    xmoon
    xrds7986
    xsephiroth
    xuc
    xuecan
    xuqianyu
    y547679519
    yangfan1999
    yatestxw
    yeya24
    ylhawj
    ysicing
    ytlm
    yufj
    yukiww233
    yycpro
    yyork
    yzyun08
    z919126592
    zavieryip
    zealinux
    zenze
    zerozz
    zhangqilin
    zhchyu999
    zhengjian
    zhensjoke
    zhouyg
    zhuawadao
    zjx1993
    zongwan
    zpfhbyx
    zsdroid
    ztnuaa
    zvcs
    zytomorrow
    zzmstring
    zzw1998：编号 499
  • emsp
  • 采集
  • 镜像
  • 私有
    549 条回复  •  2019-09-26 12:49:40 +08:00
    1  2  3  4  5  6  
    ❮ ❯
    Wien
        101
    Wien  
       2019-09-12 19:24:24 +08:00
    分母翻页
    moln
        102
    moln  
       2019-09-12 19:24:36 +08:00
    分母+1
    Wien
        103
    Wien  
       2019-09-12 19:26:48 +08:00
    流量镜像。。牛逼了
    monkey2
        104
    monkey2  
       2019-09-12 19:27:29 +08:00
    分母 分母。嘿
    zhchyu999
        105
    zhchyu999  
       2019-09-12 19:35:24 +08:00 via Android
    这个有什么具体的应用场景么
    marsLeo
        106
    marsLeo  
       2019-09-12 19:35:38 +08:00 via iPhone
    凑一下热闹
    Believer
        107
    Believer  
       2019-09-12 19:37:48 +08:00 via Android
    分子哦哦哦
    zhouyg
        108
    zhouyg  
       2019-09-12 19:39:56 +08:00
    非后端类技术员，感觉这个应用场景描述很不到位，它可以做些什么呢？
    x2ve
        109
    x2ve  
       2019-09-12 19:41:26 +08:00 via iPhone
    吃掉分母
    slwl123
        110
    slwl123  
       2019-09-12 19:45:06 +08:00
    用不到 开源项目还是要支持的
    ifulikeweirdo
        111
    ifulikeweirdo  
       2019-09-12 19:51:55 +08:00
    感觉很厉害。我是来当分母的
    siknet
        112
    siknet  
       2019-09-12 19:52:05 +08:00 via Android
    这个应该有最低配置要求吧
    koromon
        113
    koromon  
       2019-09-12 20:02:51 +08:00 via iPhone
    先回复再说😉
    yatestxw
        114
    yatestxw  
       2019-09-12 20:04:39 +08:00
    这个抽奖计算可以的
    zhangqilin
        115
    zhangqilin  
       2019-09-12 20:06:00 +08:00
    牛逼噢
    FuryBean
        116
    FuryBean  
       2019-09-12 20:07:04 +08:00
    分母 +1
    LittleYangYang
        117
    LittleYangYang  
       2019-09-12 20:09:43 +08:00   ❤️ 1
    Star 已给，来当分母了
    standin000
        118
    standin000  
       2019-09-12 20:11:03 +08:00
    抽奖计算够黑客，来一个
    kebyn
        119
    kebyn  
       2019-09-12 20:14:22 +08:00 via iPhone
    分母+1
    kraymond
        120
    kraymond  
       2019-09-12 20:18:02 +08:00 via iPhone
    我🉑
    visitant
        121
    visitant  
       2019-09-12 20:19:04 +08:00
    分母+1
    YenvY
        122
    YenvY  
       2019-09-12 20:19:23 +08:00 via Android
    分母
    是不是还得限制一下注册时间？
    ilixin
        123
    ilixin  
       2019-09-12 20:20:16 +08:00
    我是来领 ps4 的
    littleghosty
        124
    littleghosty  
       2019-09-12 20:20:51 +08:00
    分母+
    kaixuan1901
        125
    kaixuan1901  
       2019-09-12 20:26:06 +08:00
    分母+1
    yukiww233
        126
    yukiww233  
       2019-09-12 20:26:07 +08:00
    除了流量监控还有什么具体应用
    Despacito
        127
    Despacito  
       2019-09-12 20:26:35 +08:00 via Android
    插个眼
    bxb100
        128
    bxb100  
       2019-09-12 20:26:39 +08:00 via Android
    加大分子
    byron
        129
    byron  
       2019-09-12 20:29:08 +08:00
    必中。
    我去选游戏去了。
    controller
        130
    controller  
       2019-09-12 20:36:02 +08:00 via Android
    没啥，俺就是想中奖
    galenzhao
        131
    galenzhao  
       2019-09-12 20:36:02 +08:00
    有啥需求
    azuginnen
        132
    azuginnen  
       2019-09-12 20:36:15 +08:00
    666 了！！
    qinghon
        133
    qinghon  
       2019-09-12 20:41:14 +08:00 via Android
    想当分子
    PickMio
        134
    PickMio  
       2019-09-12 20:48:18 +08:00
    看到 PS4，过来增加分母
    c0878
        135
    c0878  
       2019-09-12 20:50:13 +08:00
    類似 AWS 的 VPC Flow 功能？
    okjb
        136
    okjb  
       2019-09-12 20:51:10 +08:00 via Android
    分母+
    Ahs
        137
    Ahs  
       2019-09-12 20:52:14 +08:00 via Android
    尝试分子
    yzyun08
        138
    yzyun08  
       2019-09-12 20:53:18 +08:00 via Android
    看到抽奖，过来当分子了
    zvcs
        139
    zvcs  
       2019-09-12 20:53:24 +08:00 via iPhone
    我是大分母
    iThink
        140
    iThink  
       2019-09-12 20:59:38 +08:00
    来当分母了
    xrds7986
        141
    xrds7986  
       2019-09-12 21:00:29 +08:00 via Android
    關注－下，做個分母
    dabaibai
        142
    dabaibai  
       2019-09-12 21:01:58 +08:00
    我来当分母了
    Macolor21
        143
    Macolor21  
       2019-09-12 21:04:22 +08:00
    性能上较其他产品有对比吗？还是说优势只是开源和多家云平台的支持？
    Isight
        144
    Isight  
       2019-09-12 21:10:16 +08:00 via Android
    分母之王
    ezioruan
        145
    ezioruan  
       2019-09-12 21:10:33 +08:00
    还有机会 哈哈
    IDCFAN
        146
    IDCFAN  
       2019-09-12 21:11:45 +08:00 via iPhone
    前五百
    nomoon
        147
    nomoon  
       2019-09-12 21:13:37 +08:00
    当个分母，溜了
    CoCoMcRee
        148
    CoCoMcRee  
       2019-09-12 21:19:47 +08:00
    分母分母。。。厉害了。。。真有流量抓包分析啊
    109109
        149
    109109  
       2019-09-12 21:20:55 +08:00
    试装在 x86 软路由上
    xuecan
        150
    xuecan  
       2019-09-12 21:21:00 +08:00
    我是来领 ps4 的
    Tong16
        151
    Tong16  
       2019-09-12 21:24:47 +08:00
    分母+1
    JL1990
        152
    JL1990  
       2019-09-12 21:26:04 +08:00 via Android   ❤️ 1
    分母+1，祝楼主的项目越做越大，越来越棒
    sgq1128
        153
    sgq1128  
       2019-09-12 21:26:34 +08:00
    分母+1
    jsnjfz
        154
    jsnjfz  
       2019-09-12 21:28:31 +08:00
    试试 PS4
    Shunte
        155
    Shunte  
       2019-09-12 21:30:25 +08:00
    有点复杂的抽奖
    chanots
        156
    chanots  
       2019-09-12 21:33:23 +08:00
    分母
    linpm
        157
    linpm  
       2019-09-12 21:34:55 +08:00 via Android
    我是最帅的靓仔
    bullettrain1433
        158
    bullettrain1433  
       2019-09-12 21:35:31 +08:00
    分母+1，祝楼主的项目越做越大，越来越棒
    之前好多抽奖都跑路了
    lqzhgood
        159
    lqzhgood  
       2019-09-12 21:45:10 +08:00
    我去 抽 PS4 !!!!
    666
    everydiao
        160
    everydiao  
       2019-09-12 21:47:29 +08:00 via Android
    我的我的！！！
    starrycat
        161
    starrycat  
       2019-09-12 21:48:54 +08:00 via Android
    关注
    fathuman
        162
    fathuman  
       2019-09-12 21:53:42 +08:00
    分母+1，凑个热闹
    harryge01
        163
    harryge01  
       2019-09-12 21:57:32 +08:00   ❤️ 1
    先 star 了再说
    AaronLiu00
        164
    AaronLiu00  
       2019-09-12 21:57:55 +08:00 via Android
    万一中了呢
    swulling
        165
    swulling  
       2019-09-12 21:58:20 +08:00   ❤️ 1
    流量镜像用处：Debug、测试、清洗、旁路分析等

    比如你要给客户做深度包检测，又不能侵入客户虚机，就旁路镜像后检测复制流量
    allencloud
        166
    allencloud  
       2019-09-12 21:59:10 +08:00
    没看懂啊，这个是做缓存的，还是类似 tcpdump 抓包？
    harryge
        167
    harryge  
       2019-09-12 22:00:13 +08:00
    k8s 的方案就是类似 service mesh? 和 envoy 比有啥优势不？
    0ZXYDDu796nVCFxq
        168
    0ZXYDDu796nVCFxq  
       2019-09-12 22:02:03 +08:00 via Android
    牛🍺啊
    ryV60s
        169
    ryV60s  
       2019-09-12 22:03:20 +08:00
    分母+1
    i0error
        170
    i0error  
       2019-09-12 22:04:19 +08:00 via iPhone
    分母
    tyhunter
        171
    tyhunter  
       2019-09-12 22:06:08 +08:00 via Android
    当个分母
    shuaizi
        172
    shuaizi  
       2019-09-12 22:08:06 +08:00
    test
    whtsky
        173
    whtsky  
       2019-09-12 22:09:30 +08:00 via iPad
    分母 +1
    uhian
        174
    uhian  
       2019-09-12 22:09:35 +08:00
    实话实说没看懂
    reticentfat
        175
    reticentfat  
       2019-09-12 22:16:00 +08:00
    分母+1
    az422
        176
    az422  
       2019-09-12 22:23:41 +08:00 via Android
    +1
    salmon5
        177
    salmon5  
       2019-09-12 22:27:27 +08:00   ❤️ 1
    上海天旦网络，曾经的 netexpert.cn 主办方，协议分析挺有名的
    salmon5
        178
    salmon5  
       2019-09-12 22:29:30 +08:00
    网络分析专家论坛
    salmon5
        179
    salmon5  
       2019-09-12 22:32:12 +08:00
    现在 sniffer pro 黄了，wildpackets 也不存在了，omnipeek 也易主了
    csx163
        180
    csx163  
       2019-09-12 22:34:24 +08:00
    分母+1
    kakudesu
        181
    kakudesu  
       2019-09-12 22:39:12 +08:00
    还来得及，快上车
    imNull
        182
    imNull  
       2019-09-12 22:39:53 +08:00
    分母
    gcod
        183
    gcod  
       2019-09-12 22:41:29 +08:00 via Android
    拉低中奖率
    Rheinmetal
        184
    Rheinmetal  
       2019-09-12 22:43:18 +08:00
    k8s 脚本收下了
    xiaome
        185
    xiaome  
       2019-09-12 22:45:22 +08:00
    分母 不 我想当分子!
    joocejie
        186
    joocejie  
    OP
       2019-09-12 22:53:10 +08:00
    @bomb77 我理解是系统整体负载高，当前进程 CPU 资源被占用了，所以处理能力下降。
    falcon05
        187
    falcon05  
       2019-09-12 22:54:21 +08:00 via iPhone
    万一是我呢
    bolshevik
        188
    bolshevik  
       2019-09-12 22:56:57 +08:00
    感谢分享
    joocejie
        189
    joocejie  
    OP
       2019-09-12 22:57:15 +08:00
    @zhchyu999 可以把系统网络流量镜像一份到一台机器，做实时解码业务监控，或保存下来供以后分析。
    joocejie
        190
    joocejie  
    OP
       2019-09-12 22:57:45 +08:00
    @zhouyg 可以把系统网络流量镜像一份到一台机器，做实时解码业务监控，或保存下来供以后分析。
    joocejie
        191
    joocejie  
    OP
       2019-09-12 22:59:52 +08:00
    @siknet 程序只占用一个 CPU 核，根据你系统整体流量来，流量大占用资源就多一些。推荐至少有双核。
    wzw
        192
    wzw  
       2019-09-12 23:02:15 +08:00
    为了 ps4
    geekzjj
        193
    geekzjj  
       2019-09-12 23:03:23 +08:00 via Android
    哈哈哈分母来了
    xiazhiisgood
        194
    xiazhiisgood  
       2019-09-12 23:03:44 +08:00 via iPhone
    这是真的吗？
    joocejie
        195
    joocejie  
    OP
       2019-09-12 23:04:14 +08:00
    @YenvY 我记得刚注册的用户没法回帖，应该没必要限制
    carbon
        196
    carbon  
       2019-09-12 23:06:25 +08:00
    所以说，抽奖还是要参加的，哈哈哈哈
    joocejie
        197
    joocejie  
    OP
       2019-09-12 23:09:47 +08:00
    @yukiww233 其他比如深度包检测安全分析
    joocejie
        198
    joocejie  
    OP
       2019-09-12 23:10:14 +08:00
    @xiazhiisgood true
    UnknownR
        199
    UnknownR  
       2019-09-12 23:10:43 +08:00
    ps4 我来了
    tailaqumos
        200
    tailaqumos  
       2019-09-12 23:14:10 +08:00 via Android
    还好及时上车
    1  2  3  4  5  6  
    ❮ ❯
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5082 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 37ms · UTC 09:35 · PVG 17:35 · LAX 01:35 · JFK 04:35
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.