对 websocket 服务器进行压测， nginx 负载均衡，该怎么做？

[cccRaim]

服务端

node+socket.io

测试工具

我使用的是websocket-bench进行并发测试。

服务器和测试都在本地。node 端采用多进程多端口。

问题：400 错误

但是测试的过程中发现，负载只在一个 ws 服务器的时候是没问题的，但是同时使用多个 ws 服务器，就会出现 400 错误，请求错误。

我初步估计是发送 ws 的 key 的时候和之后升级协议分配到了不同的服务器，导致不认这个请求，所以报 400 错误。如果还有其他可能，请指正。

nginx 配置如下

upstream io_nodes {
    #ip_hash; # 实际需求肯定采用这个策略，但是本地压测使用的都是同一个 ip，将会导致请求只分配到同一个服务器上
    server 127.0.0.1:8001;
    server 127.0.0.1:8002;
    server 127.0.0.1:8003;
    server 127.0.0.1:8004;
}

server {
    listen 8088;
    server_name server.com;

    error_log  logs/error.log debug;
    access_log  logs/access.log;
    
    location / {
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header Host $host;
        proxy_http_version 1.1;
        proxy_pass http://io_nodes;
    }
}

求解决方法

1. 或许是希望好心人能提供能解决这种情况的测试工具
2. 或许是一个正确的 nginx 配置或一致性策略
3. 或许是个更好的服务端架构

我的毕设不解决这个问题大概就要吹了- -

本地压测解决了。可喜可贺可喜可贺。本来还想改websocket-bench源码的，还好还没开始改。

负载均衡服务器：

依然采用nginx，nginx的1.7.2版本以后自带hash了，自定义配置各种策略，所以不用装consistent_hash。

测试工具：

测试工具换成jmeter。
因为websocket-bench可自定义的东西太少，并且如果要根据nginx负载均衡的策略来看，我压测的每个请求必须得每个请求都不太一样，此处我采用jmeter的random函数，我在请求的参数加上了${__Random(1,100)}，这是jmeter的随机函数，当然范围可自定义，倒是实现了压测时每个请求都不太一样。

所以根据我上面的改动，nginx的配置改动如下

#ip_hash;
hash $request_uri; # 根据请求的uri来分配

感谢@ivyliner 的回复让我在绞尽脑汁想找测试工具的时候让我把解决问题出发点换到了服务器上面(虽然他本人肯定没意识到)，之前绕的路太多了，辛酸泪就不说了。甚至在jmeter的ws的sample没有模拟ip功能的情况下，想要改java代码(我真是不想活了, QAQ我明明是个前端)

[djhuahao]

为何不抓个包试试呢？

[devops]

用 go 写，就不需要 nginx 了。有 cloudflare 为这个背书呢 https://blog.cloudflare.com/exposing-go-on-the-internet/

"""
The days of needing NGINX in front of all Go services are gone
"""

[panlilu]

nginx 的负载模式在没有装额外插件的情况下只有 轮询 最小连接 iphash 3 种，应该是满足不了你的需求的。
比较方便的方案是用 haproxy 代替 nginx，详细配置参考 http://toon.io/configuring-haproxy-multiple-engine-io-servers/ 这篇文章。

分布式的压测工具有很多（比如 Tsung、jmeter ），但是学习曲线大都比较陡，尤其是要压 socket.io 这种。

[cassia]

session 共享做了吗?

[ivyliner]

可以增加一下 consistent_hash 试试

[cccRaim]

@cassia 使用的是同一个 redis，不是 session 问题吧

[vuuv]

websocket 协议本身有会话校验的，需要确保同一会话的请求由同一服务处理。
可以考虑在现有网卡上配置多个 IP 或者创建一批虚拟网卡，然后绑定 IP 压测，Nginx 开启 hash。

[ryd994]

IP hash 应该能用啊………
本地压测好办，127.0.0.1/8 下面的任何地址都可以用，
ip addr 127.0.0.2 dev lo
自己写个脚本加一堆地址就好了
测试工具一一对应绑在地址上
再再再不行，上 docker 啊，上虚拟机啊，上 AWS 啊
反正 AWS 又不是长跑，没多少钱的

[vebuqi]

感觉应该用 sticky 策略

[yernsun]

可以通过追加 cookie 之类的解决，然后通过 cookie 值进行 hash

[cccRaim]

@vebuqi sticky 试了，没用，测试工具估计不记录 cookie

[cccRaim]

@panlilu haproxy 试过了，好像策略上也不满足我的要求，jmeter 的 ip 欺骗好像只限于 http，ws 的还不支持

[cccRaim]

当然选择改 websocket-bench 源码也是可以的，不过我没开始看