使用openresty通过lua修改请求/响应头_openresty 修改响应内容_我爱看明朝的博客

openresty介绍

在使用nginx时，如果我们想进行开发，开发难度比较大，openresty对nginx核心集成了很多lua三方模块，开发者可以使用lua脚本进行开发，开发者只需了解http协议和lua脚本。openresty你可以理解为支持lua开发的nginx,但是性能比nginx强。
openresty可提供：均衡负载、请求路由、安全认证、服务鉴权、流量控制、日志监控服务等。
根据openresty官网提供的数据表明：openresty在单机上就可以支持1万~100万并发连接。
mac安装oepnresty

 // 使用brew 安装 
  brew install openresty/brew/openresty
// 上面安装完后，执行nginx 提示找不到命令
// 配置环境变量(会话级,关闭这个会话，变量失效)
export PATH = /usr/local/opt/openresty/nginx/sbin:$PATH
安装完成后 
 // 启动
sudo nginx -c /usr/local/etc/openresty/nginx/nginx.conf
// 重载配置文件
sudo nginx -s reload -c /usr/local/etc/openresty/nginx/nginx.conf
//检查配置文件语法
sudo nginx -t /usr/local/etc/openresty/nginx/nginx.conf
// 停止
sudo nginx -s stop
// brew 卸载openresty
brew uninstall --force openresty/brew/openresty
linux安装openresty
 
// 安装依赖库
apt-get install libreadline-dev libpcre3-dev libssl-dev perl
// 下载
wget https://openresty.org/download/ngx_openresty-1.9.7.1.tar.gz  
// 解压
tar xzvf ngx_openresty-1.9.7.1.tar.gz       
//进入解压后的目录
cd ngx_openresty-1.9.7.1/ 
// 安装
./configure
make install
默认情况下程序会被安装到 /usr/local/openresty, 你可以使用./configure --help查看会更多的配置选项 
openresty的lua时序图
 
init_by_lua
 
用法
 当启动nginx的master进程加载配置文件时可以执行init_by_lua这里定义的lua脚本。
语法 
  init_by_lua  <lua-script-str>
// nginx.conf
location / {
init_by_lua 'your code';
init_by_lua_block语法 
  init_by_lua_block { lua-script }
init_by_lua_file语法 
 init_by_lua_file  <path-lua-script>
init_worker_by_lua
 
 用法
 当nginx的master进程启动后，每一个woker进程启动时执行这里定义的脚本。
 
 语法
  
  init_worker_by_lua <lua-script-str>
// nginx.conf
location / {
init_worker_by_lua  'your code';
init_worker_by_lua_block语法 
   init_worker_by_lua_block { lua-script}
init_worker_by_lua_file语法 
  init_worker_by_lua_file <lua-file-path>
set_by_lua
 
用法
 执行指定脚本和输入的值返回一个结果
语法 
set_by_lua $res <lua-script-str> [$arg1 $arg2...]
location /foo {
 set $diff ''; # we have to predefine the $diff variable here
 set_by_lua $sum '
     local a = 32
     local b = 56
     ngx.var.diff = a - b;  -- write to $diff directly
     return a + b;          -- return the $sum value normally
 echo "sum = $sum, diff = $diff";
set_by_lua_block语法 
 set_by_lua_block $res [lua-script]
set_by_lua_file语法 
set_by_lua-file $res <path-to-lua-script-file> [$arg1 $arg2...]
rewite_by_lua
 
 用法
 执行Lua脚本重写每一个请求，注意这个处理器的时序必须在标准的 ngx_http_rewrite_module模块之后执行。
 
 语法
  
 rewrite_by_lua <lua-script-styr>
 示例
 正确执行
  
location /foo {
 set $a 12; # create and initialize $a
 set $b ""; # create and initialize $b
 rewrite_by_lua 'ngx.var.b = tonumber(ngx.var.a) + 1';
 echo "res = $b";
没有按照期望执行 
location /foo {
 ?      set $a 12; # create and initialize $a
 ?      set $b ''; # create and initialize $b
 ?      rewrite_by_lua 'ngx.var.b = tonumber(ngx.var.a) + 1';
 ?      if ($b = '13') {
 ?         rewrite ^ /bar redirect;
 ?         break;
 ?      echo "res = $b";
因为 if 运行在 rewrite_by_lua之前即使代码看起在其后执行. 
rewrite_by_lua_block语法 
 rewrite_by_lua_block {lua-script}
rewrite_by_lua_file语法 
rewrite_by_lua_file <path-to-lua-script-file>
access_by_lua
 
 用法
 执行Lua脚本可以修改每一个请求头，注意这个处理器的时序必须在标准的 ngx_http_access_module模块之后执行。
 
 语法
  
access_by_lua <lua-script-str>
location / {
 deny    192.168.1.1;
 allow   192.168.1.0/24;
 allow   10.1.1.0/16;
 deny    all;
 access_by_lua '
     local res = ngx.location.capture("/mysql", { ... })
 # proxy_pass/fastcgi_pass/...
access_by_lua_block语法 
access_by_lua_block {lua-script}
access_by_lua_file语法 
// 如果写相对地址，相对于nginx根目录
acess_by_lua_file <path-to-lua-script-file>
// 这里地址推荐使用绝对地址
header_filter_by_lua
 
执行Lua脚本修改每一个请求的响应头信息 
header_filter_by_lua <lua-script-str>
location / {
 proxy_pass http://mybackend;
 header_filter_by_lua 'ngx.header.Foo = "blah"';
header_filter_by_lua_block语法 
header_filter_by_lua_block {lus-script}
header_filter_by_lua_file语法 
header_filter_by_lua_file <path-to-lua-script-file>
body_filter_by_lua
 
用法
 执行Lua脚本修改每一个请求的响应body信息
语法 
body_filter_by_lua <lua-script-str>
location / {
 proxy_pass http://mybackend;
 body_filter_by_lua 'ngx.arg[1] = string.upper(ngx.arg[1])';
body_filter_by_lua_block语法 
body_filter_by_lua_block {lua-script-str}
body_filter_by_lua_file语法 
body_filter_by_lua_file <path-to-lua-script-file>
修改请求头
 
如果请求头有 authorization并且他的值包含Bearer,则重写值,我们这里使用access_by_lua_file 
nignx.conf 
   location / {
        access_by_lua_file lua/changeReqHeader.lua;
changeReqHeader.lua 
-- 重写请求头 token
-- 如果请求头包含 authorization 并且内容包含  Bearer，则重写请求头
local token = '123456'
if  ngx.req.get_headers()["authorization"] ~= nil and string.find(ngx.req.get_headers()["authorization"], 'Bearer') ~= nil then
  ngx.req.set_header("authorization", "Bearer "..token)
-- ngx.log(ngx.ERR, "token:"..token)
修改响应头
 
如果响应码时401，响应头有authenticate,则修改这个值,我们这里使用 header_filter_by_lua_file 
nignx.conf 
   location / {
           header_filter_by_lua_file lua/changeRrespHeader.lua;
changeRrespHeader.lua 
if ngx.status == 401 then
local h = ngx.resp.get_headers()
for k, v in pairs(h) do
    if k == "www-authenticate" then
        ngx.header["www-authenticate"] = "Bearer realm=\"http://xxx-xxx.com.cn/service/token\",service=\"harbor-registry\""
nginx提供给lua的API
 
在lua脚本中可以使用下面的API进行开发。 
http方法
 
上下文使用lua时序方法 init_by_lua*, set_by_lua*, rewrite_by_lua*, access_by_lua*, content_by_lua*, header_filter_by_lua*, body_filter_by_lua*, log_by_lua*, ngx.timer., balancer_by_lua, ssl_certificate_by_lua*, ssl_session_fetch_by_lua*, ssl_session_store_by_lua* 
 ngx.HTTP_GET
  ngx.HTTP_HEAD
  ngx.HTTP_PUT
  ngx.HTTP_POST
  ngx.HTTP_DELETE
http状态码
 
上下文使用Lua时序方法init_by_lua*, set_by_lua*, rewrite_by_lua*, access_by_lua*, content_by_lua*, header_filter_by_lua*, body_filter_by_lua*, log_by_lua*, ngx.timer., balancer_by_lua, ssl_certificate_by_lua*, ssl_session_fetch_by_lua*, ssl_session_store_by_lua*




    
 
 value = ngx.HTTP_CONTINUE (100) (first added in the v0.9.20 release)
   value = ngx.HTTP_SWITCHING_PROTOCOLS (101) (first added in the v0.9.20 release)
   value = ngx.HTTP_OK (200)
   value = ngx.HTTP_CREATED (201)
   value = ngx.HTTP_ACCEPTED (202) (first added in the v0.9.20 release)
   value = ngx.HTTP_NO_CONTENT (204) (first added in the v0.9.20 release)
   value = ngx.HTTP_PARTIAL_CONTENT (206) (first added in the v0.9.20 release)
   value = ngx.HTTP_SPECIAL_RESPONSE (300)
   value = ngx.HTTP_MOVED_PERMANENTLY (301)
   value = ngx.HTTP_MOVED_TEMPORARILY (302)
   value = ngx.HTTP_SEE_OTHER (303)
   value = ngx.HTTP_NOT_MODIFIED (304)
   value = ngx.HTTP_TEMPORARY_REDIRECT (307) (first added in the v0.9.20 release)
   value = ngx.HTTP_PERMANENT_REDIRECT (308)
   value = ngx.HTTP_BAD_REQUEST (400)
   value = ngx.HTTP_UNAUTHORIZED (401)
   value = ngx.HTTP_PAYMENT_REQUIRED (402) (first added in the v0.9.20 release)
   value = ngx.HTTP_FORBIDDEN (403)
   value = ngx.HTTP_NOT_FOUND (404)
   value = ngx.HTTP_NOT_ALLOWED (405)
   value = ngx.HTTP_NOT_ACCEPTABLE (406) (first added in the v0.9.20 release)
   value = ngx.HTTP_REQUEST_TIMEOUT (408) (first added in the v0.9.20 release)
   value = ngx.HTTP_CONFLICT (409) (first added in the v0.9.20 release)
   value = ngx.HTTP_GONE (410)
   value = ngx.HTTP_UPGRADE_REQUIRED (426) (first added in the v0.9.20 release)
   value = ngx.HTTP_TOO_MANY_REQUESTS (429) (first added in the v0.9.20 release)
   value = ngx.HTTP_CLOSE (444) (first added in the v0.9.20 release)
   value = ngx.HTTP_ILLEGAL (451) (first added in the v0.9.20 release)
   value = ngx.HTTP_INTERNAL_SERVER_ERROR (500)
   value = ngx.HTTP_METHOD_NOT_IMPLEMENTED (501)
   value = ngx.HTTP_BAD_GATEWAY (502) (first added in the v0.9.20 release)
   value = ngx.HTTP_SERVICE_UNAVAILABLE (503)
   value = ngx.HTTP_GATEWAY_TIMEOUT (504) (first added in the v0.3.1rc38 release)
   value = ngx.HTTP_VERSION_NOT_SUPPORTED (505) (first added in the v0.9.20 release)
   value = ngx.HTTP_INSUFFICIENT_STORAGE (507) (first added in the v0.9.20 release)
删除nginx日志级别
 
上下文使用Lua时序方法init_by_lua*, init_worker_by_lua*, set_by_lua*, rewrite_by_lua*, access_by_lua*, content_by_lua*, header_filter_by_lua*, body_filter_by_lua*, log_by_lua*, ngx.timer., balancer_by_lua, ssl_certificate_by_lua*, ssl_session_fetch_by_lua*, ssl_session_store_by_lua* 
//使用 ngx.log（level,  output info）
  ngx.STDERR
   ngx.EMERG
   ngx.ALERT
   ngx.CRIT
   ngx.ERR
   ngx.WARN
   ngx.NOTICE
   ngx.INFO
   ngx.DEBUG
本次请求发起子请求 ngx.location.capture
 
local  res = ngx.location.capture('/foo/bar?a=3&amp;b=4')
// 子请求响应码不等于200
if res.status ~= 200 then
ngx.log(ngx.ERR, "sub request returned bad status: ",
res.status)
//父请求返回非200，整个请求结束
ngx.exit(res.status)
读写当前请求的响应码 ngx.status
 
上下文使用Lua时序方法set_by_lua*, rewrite_by_lua*, access_by_lua*, content_by_lua*, header_filter_by_lua*, body_filter_by_lua*, log_by_lua* 
//在Lua中使用当前请求响应码
local status = ngx.status
设置请求的响应头 ngx.header.HEADER
 
注意这个是响应头 response header 
//注意在lua字符串中 \" 代表一个双引号符号，\' 代表一个单引号(撇号)字符
ngx.header["www-authenticate"] ="Bearer realm=\"http://xxx.paic.com.cn:8443/service/token\",service=\"harbor-registry\""
得到响应的所有头 ngx.resp.get_headers
 
上下文Lua时序方法 set_by_lua*, rewrite_by_lua*, access_by_lua*, content_by_lua*, header_filter_by_lua*, body_filter_by_lua*, log_by_lua*, balancer_by_lua* 
if ngx.status == 401 then
local h = ngx.resp.get_headers()
for k, v in pairs(h) do
    if k == "www-authenticate" then
        ngx.header["www-authenticate"] = "Bearer realm=12121"
local value = ngx.resp.get_headers()["header name"]
得到请求的所有头 ngx.req.get_headers
 
上下文lua时序方法set_by_lua*, rewrite_by_lua*, access_by_lua*, content_by_lua*, header_filter_by_lua*, body_filter_by_lua*, log_by_lua* 
local h = ngx.req.get_headers()
for k, v in pairs(h) do
    if k == "authorization" then
        ngx.req_set_header("authorization", "basic 1233")
local value = ngx.req.get_headers()["authorization"]
设置请求头信息 ngx.req.set_header
 
上下文Lua时序方法set_by_lua*, rewrite_by_lua*, access_by_lua*, content_by_lua*, header_filter_by_lua*, body_filter_by_lua* 
ngx.req_set_header("authorization", "basic 1233")
上传文件nginx报http 413错误
 
报413错误原因是请求实体太大，nginx的缓存区设置的太小， 
http {
//  允许用户最大上传数据限制，默认1M，位置可放在http,server,location
client_max_body_size 500M;
client_body_filter_size 200M;
nginx中文日志乱码
 
nginx配置文件log_format增加 escape参数，json或者none都可以。 
 log_format  main escape=json  '$remote_addr - $remote_user [$time_local] "$request" '
                  '$status $body_bytes_sent "$http_referer" '
                  '"$http_user_agent" "$http_x_forwarded_for"';
openresty官方 
openresty实战：概念和应用场景 
浅析openresty 
openrestry相关lua解释 
lua简单教程 
nginx 401处理
                                    OpenResty（openresty-1.21.4.1.tar.gz）
OpenResty是一个基于 Nginx 与 Lua 的高性能 Web 平台，其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。
OpenResty通过汇聚各种设计精良的 Nginx 模块（主要由 OpenResty 团队自主开发），从而将 Nginx 有效地变成一个强大的通用 Web 应用平台。这样，Web 开发人员和系统工程师可以使用 Lua 脚本语言调动 Nginx 支持的各种 C 以及 Lua 模块，快速构造出足以胜任 10K 乃至 1000K 以上单机并发连接的高性能 Web 应用系统。
OpenResty的目标是让你的Web服务直接跑在 Nginx 服务内部，充分利用 Nginx 的非阻塞 I/O 模型，不仅仅对 HTTP 客户端请求,甚至于对远程后端诸如 MySQL、PostgreSQL、Memcached 以及 Redis 等都进行一致的高性能响应。
                                    OpenResty® 是一个基于 Nginx 与 Lua 的高性能 Web 平台，其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。
OpenResty® 通过汇聚各种设计精良的 Nginx 模块（主要由 OpenResty 团队自主开发），从而将 Nginx 有效地变成一个强大的通用 Web 应用平台。这样，Web 开发人员和系统工程师可以使用 Lua 脚本语言调动 Nginx 支持的各种 C 以及 Lua 模块，快速构造出足以胜任 10K 乃至 1000K 以上单机并发连接的高性能 Web 应用系统。
OpenResty® 的目标是让你的Web服务直接跑在 Nginx 服务内部，充分利用 Nginx 的非阻塞 I/O 模型，不仅仅对 HTTP 客户端请求,甚至于对远程后端诸如 MySQL、PostgreSQL、Memcached 以及 Redis 等都进行一致的高性能响应。
                                    SRV路由器
这是一个小项目，提供一种使用 nginx 和 Lua（通过 ）来平衡实例之间的流量的方法，这些实例在集群中提供 HTTP 服务，并带有服务发现 DNS API。
 Consul 或 SkyDNS 等解决方案提供这些 API，并通过 SRV 记录提供有关服务的信息，目前 HAProxy 和 Nginx 都无法处理。 这个小项目包括一个 lua 脚本，它查询发现 DNS 服务器并使用 SRV 记录的数据路由请求上游 HTTP 服务器。 这允许动态更新 Nginx 中的上游服务器，并依赖于服务发现层来处理节点故障检测和服务注册。
 SRV 路由器最初是为 Consul 集群创建的，但它可以很容易地用于具有 DNS 发现 API 的任何其他类型的集群。 或者，您可以查看和（后者可能需要一些工作才能在 Flynn 的 PaaS 之外使用）。
 如果您有关于如何改进这一点的问题、建议或想
                                    除了自带的 headers 模块，也可以安装第三方的 headers-more 模块，对应 headers 的控制更全面，更方便，headers-more 是 openresty 的一个模块，openresty 就自带了，nginx 的话，需要编译添加动态模块。proxy_set_header 通常用的最多，可以在提交给上游服务器的 header 中添加或重写 header，比如通常用到的，反向代理的时候，添加客户端 IP、XFF 等字段。
                                    OpenResty是一个通过Lua扩展NGINX实现的可伸缩的Web平台。
OpenResty（也称为 ngx_openresty）是一个基于Nginx与Lua的高性能Web平台，其内部集成了大量精良的Lua库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态Web应用、Web服务和动态网关。
OpenResty通过汇聚各种设计精良的Nginx模块（主要由OpenResty团队自主开发），从而将Nginx有效地变成一个强大的通用Web应用平台。这样，Web开发人员和系统工程师可以使用Lua脚本语言调动Nginx支持的各种C以及Lua模块，快速构造出足以胜任10K乃至1000K以上单机并发连接的高性能Web应用系统。
OpenResty的目标是让你的Web服务直接跑在Nginx服务内部，充分利用Nginx的非阻塞I/O模型，不仅仅对HTTP客户端请求，甚至于对远程后端诸如MySQL、PostgreSQL、Memcached以及Redis等都进行一致的高性能响应。
curl -X POST -d '["bob", "jim]' http://localhost:3000/
invalid request
当前，该示例不是使用真实的后端，而是仅对响应进行硬编码。 如果通过注释66行和取消注释67行来更改响应以返回无效的JSON，则应该得到：
 # valid JS
                                    关注「WeiyiGeek」公众号设为「特别关注」每天带你玩转网络安全运维、应用开发、物联网IOT学习！本章目录：0x0n 前言简述知识引入Lua模块指令阶段0x01 部署环境安装说明安装部署0x02 使用实践1.Nginx 实践使用 echo-nginx-module 模块之动态加载链接库2.Nginx 实践使用 lua-resty-redis 模块连接 Redis 进行......
只有理解了这两个问题，才能在业务中巧妙地利用Ngx_Lua来完成各项需求。
Nginx的11个执行阶段，每个阶段都有自己能够执行的指令，并可以实现不同的功能。Ngx_Lua的功能大部分是基于Nginx这11个执行阶段开发和配置的，Lua代码在这些指令块中执行，并依赖于它们的执行顺序。本章将对Ngx_Lua的执行阶段进行一一讲解。
一、 i.
配置参数 lua_code_cache on
当配置参数lua_code_cache 为 off 的时候， 每次修改lua代码会生效。init_by_lua_block 每次执行请求都会执行。 不能使用lrucache 并且不能缓存。 init_worker_by_lua_block 执行work线程数的次数。。lua_code_cache 为off 情况下可以用于代码调试，不过......
                                    文章目录介绍使用指令
  Nginx是一款Http服务器，一般作为反向代理和负载均衡等功能，关于Nginx就不进行过多赘述了，专门来搜索修改响应头问题一般都是已经在使用中，对Nginx有一定了解了。
  Nginx在修改响应头是需要继承headers-more-nginx-module模块的，我想在看到这篇文章以前应该都有搜索到相关的资料。headers-more-nginx-module这个模块不在Nginx默认集成中，需要用户自己去进行添加模块，Linux下进行集成网上都有很多的教程这里也不过多赘
                                    首先不知道openresty为何物的，可自行google!问题：我们有一个网站，开始用的是http协议的，由于历史原因，路径写在各个地方，比较混乱。现在想启用https协议，可是现在的浏览器不充计https协议下加载http协议的样式，脚本等。方案1： 将代码中的http全部修改成https,工作量比较大，并且风险太高方案2： 在程序的输出到时，统一替换，这个虽然相对不错，不过感觉还是有点麻烦，把...
目前的需求是有一个需要身份认证的Websocket接口，目前用户可以调用，但是我们需要过滤掉一些敏感信息，让包含这些信息的text不发送给用户。
【前期尝试】
首先我知道nginx可以直接反向代理 websocket。
其次我也知道可以通过openresty中的body_filter_by_lua对响应进行处理。
那么将这两者结合起来能否实现websocket的消息过滤呢？
答案是不能。或者说可以实现但是非常复杂，涉及到一系列协议，因此放弃了。
【最终方案】
经过广泛搜集资料：发现了一个日本小哥写
1、每个worker（工作进程）创建一个Lua VM，worker内所有协程共享VM；
2、将Nginx I/O原语封装后注入 Lua VM，允许Lua代码直接访问；
3、每个外部请求都由一个Lua协程处理，协程之间数据隔离；
4、Lua代码调用I/O操作等异步接口时，会挂起当前协程（并保护上下文数据），而不阻塞worker；
5、I/O等异步操作完成时还原相关协程上