Nginx配置gRPC请求

Nginx 在 1.13.10 中，新增了对gRPC的原生支持。有了对 gRPC 的支持，NGINX 就可以代理 gRPC TCP 连接，还可以终止、检查和跟踪 gRPC 的方法调用。

Nginx需要引入模块：--with-http_ssl_module --with-http_v2_module

为已经安装的Nginx添加新的编译模块：

  1. 进入解压的Nginx目录
  2. 执行命令：./configure --with-http_ssl_module --with-http_v2_module
  3. 执行命令：make && make install。执行make install时会将原有的文件替换掉，且会备份之前的文件

使用

基础使用方式

在客户端和服务器端之间插入 NGINX，NGINX 为服务器端的应用程序提供了一个稳定可靠的网关。

NGINX 使用 HTTP 服务器监听 gRPC 流量，并使用 grpc_pass 指令代理流量。 为 NGINX 创建以下代理配置，在端口 80 上侦听未加密的 gRPC 流量并将请求转发到端口 50051 上的服务器：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
http {
   # 日志记录格式
   log_format main $remote_addr - $remote_user [$time_local] "$request"  $status $body_bytes_sent "$http_referer"  "$http_user_agent"';
 
   server {
     # 应该是nginx 1.25版本开始，声明http2的语法应该单独写，而不是写在listen中。
     # listen 80;
     # http2 on;

     listen 80 http2;
     # 日志记录文件路径
     access_log logs/access.log main;
 
     location / {
       # Replace localhost:50051 with the address and port of your gRPC server
       # The 'grpc://' prefix is optional; unencrypted gRPC is the default   
       grpc_pass grpc://localhost:50051;
     }
   }
 }

指令grpc_pass用来指定代理的gRPC服务器地址，前缀协议有两种：

  • grpc://：与gRPC服务器端交互是以明文的方式
  • grpcs://：与gRPC服务器端交互式以TLS加密方式

gRPC服务器地址的前缀“grpc://”是可以忽略，默认就是明文交互方式。

此示例里nginx以明文的方式在80端口发布gRPC，其中代理的gRPC在后端也是以明文的方式交互。

注意：Nginx是不支持在明文的端口上同时支持http1和http2的。如果要支持这两种的http协议，需要设置为不同的端口。

启用TLS 加密 -> nginx(https)

1
2
3
4
5
6
7
8
9
10
server {
    listen 1443 ssl http2;
    
    ssl_certificate ssl/cert.pem;
    ssl_certificate_key ssl/key.pem;
    
    location / {
        grpc_pass grpc://localhost:50051;
    }
 }

示例里在nginx层给gRPC服务添加了ssl证书，而内部代理到gRPC服务器仍然是使用明文的交互方式，也就是在Nginx层，做到了SSL offloading。

gRPC客户端也是需要TLS加密。如果是使用自签名证书等未经信任的证书，客户端都需要禁用证书检查。在部署到生产环境时，需要将自签名证书换成由可信任证书机构发布的证书，客户端也需要配置成信任该证书。

同时启用https：客户端 -> nginx(https) -> gRPC服务端(SSL)

如果Nginx内部代理的gRPC也需要以加密的方式交互，这种情况就需要把明文代理协议grpc://替换为grpcs://。这首先要gRPC服务器是以加密的方式发布服务的。

1
2
3
4
5
6
7
8
9
10
11
12
13
server {
    listen 1443 ssl http2;
    
    ssl_certificate ssl/cert.pem;
    ssl_certificate_key ssl/key.pem;
     
    grpc_ssl_verify off; # 关闭对grpc服务器的ssl证书验证
    grpc_ssl_session_reuser on; # 启用与grpc服务器https连接的ssl会话重用功能
    
    location / {
        grpc_pass grpcs://localhost:50051;
    }
 }

路由 gRPC 流量

如果后端有多个gRPC服务端，其中每个服务端都是提供不同的gRPC服务。这种情况可以使用一个nginx接收客户端请求，然后根据不同的路径分发路由到指定的gRPC服务器。

/helloworld.Greeter/Test 对应 /包名.service名/方法名

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
location /helloworld.Greeter {
  grpc_pass grpc://192.168.20.11:50051;
}

location /helloworld.Dispatcher {
  grpc_pass grpc://192.168.20.21:50052;
}

location /helloworld.Greeter/Test {
  grpc_pass grpc://192.168.20.11:50051;
}

location / {
  root html;
  index index.html index.htm;
}

对 gRPC 流量进行负载均衡

在后端有多个gRPC服务器，它们都是同一个gRPC服务，这种情况可以结合nginx的upstream可以对gRPC的请求做负载均衡。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
upstream grpcservers {
    server 192.168.20.21:50051;
    server 192.168.20.22:50052;
}

server {
    listen 1443 ssl http2;

    ssl_certificate   ssl/certificate.pem;
    ssl_certificate_key ssl/key.pem;

    location /helloworld.Greeter {
        grpc_pass grpc://grpcservers;
        error_page 502 = /error502grpc;
    }

    location = /error502grpc {
        internal;
        default_type application/grpc;
        add_header grpc-status 14;
        add_header grpc-message "unavailable";
        return 204;
    }
}

其中upstream指定定义了统一gRPC服务的服务器组。在grpc_pass指定的gRPC服务器地址使用upstream定义的服务器组。

NGINX 支持多种负载均衡算法，其内置的健康检测机制可以检测到无法及时响应或发生错误的服务器，并把它们移除。如果没有可用的服务器，就会返回 /error502grpc 指定的错误消息。

配置指令

名称语法默认值说明
grpc_bindaddress [transparent] 或offnil设置从指定的本地IP地址及端口进行反向代理。设置transparent时，将客户端真实IP透传给后端。
grpc_buffer_sizesize4k或8k设用于从grpc服务器读取响应数据缓冲区大小。
grpc_passaddressnil后端grpc的地址
grpc_hide_headerfieldnil指定grpc后端响应数据中，不向客户端传递的http头
grpc_pass_headerfieldnil允许部分后端请求头返回给客户端
grpc_ignore_headersfieldsnil设置禁止nginx处理从后端获取响应的header
grpc_set_headerfield value在转发给grpc后端前，修改或添加请求头
grpc_connect_timeouttime60snginx与后端建立连接的超时时间
grpc_read_timeouttime60s从后端连续接收两个读操作之间的超时时间
grpc_send_timeouttime60s从后端连续接收两个写操作之间的超时时间
grpc_socket_keepaliveon 或 offoff启用nginx与后端的tcp keepalive机制
grpc_intercept_errorson 或 offoff启用拦截后端响应码大于或等于300的结果
grpc_next_upstream当出现指令之中指定的条件时，将未返回响应的请求传递给upstream中的另一个后端
grpc_next_upstream_timeouttime0next_upstream过程中的超时时间
grpc_next_upstream_triesnumber0next_upstream中下一个后端的尝试次数
grpc_ssl_protocols指定nginx与后端建立ssl连接的ssl协议的版本
grpc_ssl_session_reuseon 或 offon启用与后端https连接的ssl会话复用功能
grpc_ssl_ciphers设置建立https连接时用于协商使用的加密算法组合
grpc_ssl_server_nameon或offoff在与grpc服务器建立ssl连接时，设置是否启用通过SNI或RFC6066传递主机名
grpc_ssl_certificatefilenil指定后端对nginx的ssl证书文件
grpc_ssl_certificate_keyfilenil指定后端对nginx的ssl私钥文件
grpc_ssl_password_filefilenil指定后端对nginx的ssl密码文件
grpc_ssl_verifyon 或 offoff设置是否启用对grpc后端的ssl证书验证机制
grpc_ssl_namenameproxy_pass指令指定的主机名指定对后端ssl证书验证的主机名
grpc_ssl_crlfilenil证书吊销列表文件
grpc_ssl_trusted_certificatefilenil指定一个pem格式的ca证书文件
grpc_ssl_verify_depthnumber1设置证书链的验证深度