Node.js 与 RPC 的实践方案-Eggjs 使用 sofa-rpc-node 模块

[kaolalicai]

一、前言

SOFARPC 是蚂蚁金服开源的一个高可扩展性、高性能、生产级的 Java RPC 框架，提供了丰富的模型抽象和可扩展接口，包括过滤器、路由、负载均衡等等，致力于简化应用之间的 RPC 调用，为应用提供方便透明、稳定高效的点对点远程服务调用方案。

egg.js 作为一个成熟的开源项目，清晰的定义了从配置、路由、扩展、中间件到控制器、定时任务等各个 Web 应用研发过程中一些最基础的概念，这样不同团队的开发者使用框架写出来的代码风格会更一致，接手老项目的上手成本也会更低。

本文将简单介绍 egg.js 和 sofa （ Java ）的相互作用，利用 sofarpc 的开源，展现一个初步的 node.js RPC 解决方案。

二、RPC 介绍

RPC （ Remote Procedure Call ） 即 远程过程调用，就是像调用本地的函数一样去调用远程的函数。简单讲，就是本地调用的逻辑处理的过程放在的远程的机器上，而不是本地服务代理来处理。

其实 HTTP 也可以实现远程调用的效果，那么 HTTP 与 RPC 到底是什么关系呢？有什么区别呢？

经过了解，我们发现 RPC 和 HTTP 其实是不在同一个层级的概念。

（一） RPC 与 HTTP 区别

RPC 通常所讲是一个框架

结合上图，阿里对 RPC 开源 RPC 框架 sofa 优点的解读，我们了解到，RPC 也可以基于 HTTP 实现，如上图 GRPC，就是 google 基于 HTTP2.0 协议，RPC 也可以基于 TCP，Sockets 实现。

gRPC is a modern open source high performance RPC framework that can run in any environment. It can efficiently connect services in and across data centers with pluggable support for load balancing, tracing, health checking and authentication. It is also applicable in last mile of distributed computing to connect devices, mobile applications and browsers to backend services.

而 HTTP(HyperText Transfer Protocol) 是基于 TCP 的实现的超文本传输协议，HTTP 是无状态协议；最初用于浏览器与服务器的通信，后来广泛用于各个服务间的通信。

RPC是远程过程调用，RPC 框架可以的通信过程可以使用各种通信协议（如 HTTP，TCP 以及各种自定义协议）实现。

简单来说，成熟的 rpc 库相对 http 容器，更多的是封装了“服务发现”，"负载均衡"，“熔断降级”一类面向服务的高级特性，rpc 框架是面向服务的更高级的封装。如果把一个 http servlet 容器上封装一层服务发现和函数代理调用，那它就已经可以做一个 rpc 框架了。
所以为什么要用 rpc 调用？因为良好的 rpc 调用是面向服务的封装，针对服务的可用性和效率等都做了优化。单纯使用 http 调用则缺少了这些特性。

这里可以关注知乎了解更多：既然有 HTTP 请求，为什么还要用 RPC 调用？

三、Nodejs 有哪些比较流行的 RPC 框架?

1. grpc —— https://grpc.io ， 这个是国外比较流行的，有 google 背书，支持多语言，听说使用的公司也比较多，看上去是比较成熟的框架。
2. sofa —— https://tech.antfin.com/sofa 这个是国内阿里开源的，目前阿里开源的 Eggjs 框架也开源了基于 sofa 的最佳实践。
3. DUBBO —— 阿里开源的 java RPC 框架

四、实践

基于“Eggjs 和 SOFA 的跨语言互调” 我们尝试了 Eggjs 下的 rpc 调用。

（一） zookeeper 介绍

回到最初看 RPC 的原理，Client 端没有向 Server 端发起通信，而是需要 Client Stub 和 Server Stub 的桥接，完成 Client 和 Server 的通信； 问题来了：

1. Client Stub 和 Server Stub 的桥接过程中如何找到对应的 Server ？（服务地址储存）
2. Server 接收到请求后，Client 如何接收处理结果？（服务状态感知）

Zookeeper 在此实现的框架上的作用就是解决上面两个问题，详情可参考：https://ketao1989.github.io/2016/12/10/rpc-theory-in-action/

对比起 http 服务里面，我们有一个配套的支撑基础组件叫做 DNS，其根据域名找到某几个外网 ip 地址。然后，请求打到网站内部，一般首先到 nginx 群，nginx 也会根据 url 规则找到配置好的一组 ip 地址，此外，nginx 根据 healthcheck 来检查 http 服务是否可用。

Zookeeper 在解决服务地址储存的所做事情就如 DNS 和 nginx 一样。 接下来主要从 “ node 服务 ——> Java 服务“ 和 “ Java 服务 ——> node 服务” （使用 sofa 调用）来尝试

1. 配置

• 通过 egg-init 初始化项目脚手架，选择 simple 模板，接下来根据实际情况填写必要信息。

$ egg-init

? Please select a boilerplate type (Use arrow keys)
 ──────────────
❯ simple - Simple egg app boilerplate
 ts - Simple egg && typescript app boilerplate
 empty - Empty egg app boilerplate
 plugin - egg plugin boilerplate
 framework - egg framework boilerplate   

• 进入生成好的项目目录，并安装依赖

• 安装 egg-sofa-rpc 插件和 egg-rpc-generator 工具
  $ npm i egg-sofa-rpc --save
$ npm i egg-rpc-generator --save-dev

• 配置 package.json 的 scripts 节点，增加一个命令 "rpc": "egg-rpc-generator"

{
 "scripts": {
   "dev": "egg-bin dev",
   "rpc": "egg-rpc-generator"
 }
}

补充下在阿里的文档没有提到的一点：必须在package.json文件最外层添加，这个egg-int工具并不会帮建这个。

"egg": {
   "framework": "sofa-node"
 }

• 配置 config/plugin.js 开启 egg-sofa-rpc 插件

// config/plugin.js

exports.sofaRpc = {
enable: true,
package: 'egg-sofa-rpc',
};

• 在config/config.default.js 配置zookeeper

// config/config.default.js
'use strict';

exports.sofaRpc = {
registry: {
  address: '127.0.0.1:2181', // zk 地址指向本地 2181 端口
},
};

2.配置接口

ProtoService.proto

syntax = "proto3";

package com.alipay.sofa.rpc.protobuf;
option java_multiple_files = true; // 可选
option java_outer_classname = "ProtoServiceModels"; // 可选

service ProtoService {
    rpc echoObj (EchoRequest) returns (EchoResponse) {}
}

message EchoRequest {
    string name = 1;
    Group group = 2;
}

message EchoResponse {
    int32 code = 1;
    string message = 2;
}

enum Group {
    A = 0;
    B = 1;
}

上面这个 ProtoService.proto 文件定义了一个服务：实际上就是需要调用 Java 项目中 com.alipay.sofa.rpc.protobuf.ProtoService，它有一个叫 echoObj 的方法，入口参数类型是 EchoRequest，返回值类型是 EchoResponse。

该 Java 项目在此 Eggjs RPC Example

（二） protobuf

1.protobuf 是什么？

Protocol buffers 是一种语言中立，平台无关，可扩展的序列化数据的格式，可用于通信协议，数据存储等。 Protocol buffers 在序列化数据方面，它是灵活的，高效的。相比于 XML 来说，Protocol buffers 更加小巧，更加快速，更加简单。一旦定义了要处理的数据的数据结构之后，就可以利用 Protocol buffers 的代码生成工具生成相关的代码。甚至可以在无需重新部署程序的情况下更新数据结构。只需使用 Protobuf 对数据结构进行一次描述，即可利用各种不同语言或从各种不同数据流中对你的结构化数据轻松读写。 它很适合做数据存储或 RPC 数据交换格式。可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。目前提供了 C++、Java、Python 三种语言的 API。

protobuf 在数据序列化的应用有以下几方面：

• 在 config/proxy.js 中配置要调用的服务信息：

    'use strict';
    
    module.exports = {
      services: [{
        appName: 'sofarpc',
        api: {
          ProtoService: 'com.alipay.sofa.rpc.protobuf.ProtoService',
        },
      }],
    };

• 在根目录下运行 npm run rpc，生成调用的 proxy 文：

    $ npm run rpc
    > [email protected] rpc /egg-rpc-demo
    > egg-rpc-generator
    [EggRpcGenerator] framework: /egg-rpc-demo/node_modules/egg, baseDir: /egg-rpc-demo
    [ProtoRPCPlugin] found "com.alipay.sofa.rpc.protobuf.ProtoService" in proto file
    [ProtoRPCPlugin] save all proto info into "/egg-rpc-demo/run/proto.json"

2.Egg-sofa-generator

SOFARPC 插件是为 egg 提供调用和发布 RPC 服务的能力，该插件提供调用其他系统暴露的 SOFARPC 接口的能力。
那么这个插件如何应用在实际项目？ 实际上就是生成了 app/proxy/ProtoService.js - 调用服务的代理文件。

    // Don't modified this file, it's auto created by egg-rpc-generator
    
    'use strict';
    
    const path = require('path');
    
    /* eslint-disable */
    /* istanbul ignore next */
    module.exports = app => {
      const consumer = app.sofaRpcClient.createConsumer({
        interfaceName: 'com.alipay.sofa.rpc.protobuf.ProtoService',
        targetAppName: 'sofarpc',
        version: '1.0',
        group: 'SOFA',
        proxyName: 'ProtoService',
        responseTimeout: 3000,
      });
    
      if (!consumer) {
        // `app.config['sofarpc.rpc.service.enable'] = false` will disable this consumer
        return;
      }
    
      app.beforeStart(async() => {
        await consumer.ready();
      });
    
      class ProtoService extends app.Proxy {
        constructor(ctx) {
          super(ctx, consumer);
        }
    
        async echoObj(req) {
          return await consumer.invoke('echoObj', [ req ], { 
            ctx: this.ctx,
        codecType: 'protobuf',                        
          });
        }
      }
    
      return ProtoService;
    };
    /* eslint-enable */

如何调用该方法呢？

• 在路由里通过 ctx.proxy 去调用

    // app/controller/home.js
    'use strict';
    
    const Controller = require('egg').Controller;
    
    class HomeController extends Controller {
      async index() {
        const { ctx } = this;
        const res = await ctx.proxy.protoService.echoObj({
          name: 'gxcsoccer',
        group: 'A',
        });
        ctx.body = res;
      }
    }
    
    module.exports = HomeController;

    npm run dev

调试结果方面，调用接口之后如下图所示：

五、小结

伴随 SOFARPC 的开源，sofa-bolt-node 和 sofa-rpc-node 两个 Nodejs RPC 基础模块也逐步完善。本文主要将 Eggjs 和 SOFA （ Java ）连通，尝试去提供 EGG.js 中 RPC 的一些引用。node 社区不断完善，未来 node.js 在 RPC 中的尝试也可以越来越多。

六、参考文献

• Eggjs 和 SOFA 的跨语言互调
• 深入浅出 RPC 原理
• 分布式架构核心 RPC 原理
• RPC 原理解析
• Demo 示例