好记性不如 烂笔头 ,趁热记录下,给未来的自己

最近在配置预生产环境,为了尽量保证其与未来的生产环境保持一致,相较于开发环境,需要将访问协议从HTTP切换为HTTPS,而现有的MinIO部署还是以HTTP方式(默认)对外提供服务,这就会导致在HTTPS页面中无法获取基于HTTP的MinIO的数据。那么,就需要对MinIO进行改造,使其支持HTTPS协议访问。

思路有两个:

  • 万能大法,通过nginx反向代理,将https配置在nginx侧,内部的MinIO还是使用HTTP;
  • MinIO服务端直接配置成HTTPS;
  • 确定大概方向的可能性后,在网上也搜索了下( 链接 ),和预计的差不多,基本就nginx反向代理和MinIO配置成HTTPS两种方式。第一种方式的话,网上有现成的方案,可以作为兜底方案;第二种方式,普遍反映根据官网的教程,无法实现HTTPS访问。但是既然官网文档有明确表示支持HTTPS,那么该方案一定是可行的。所以,计划从第二个方案入手,如果走不通,再采用兜底方案。

  • Centos 8.3
  • Docker 20.1
  • 选择了第二个方案,就意味着踩坑的开始。

    首先,根据官网描述( How to secure access to MinIO server with TLS ),将TLS的公私钥放到: {{HOME}}/.minio/certs 里。

  • 私钥需要命名为:private.key
  • 公钥需要命名为:public.crt (如果公钥是以pem格式结尾,可直接改为crt格式)
  • 启动MinIO容器:

    docker run -dit -p 39000:39000 -p 39001:39001 --name minio -v /mnt/data/miniotest/data:/data -v /mnt/data/miniotest/config:/root/.minio -e "MINIO_ACCESS_KEY=username" -e "MINIO_SECRET_KEY=password" minio/minio server /data --address ":39000" --console-address ":39001"
    

    成功启动:

    可以看到访问的协议已经换成了HTTPS。

  • address: Minio API调用的地址+端口,其中地址可以是IP或者host
  • console-address: MinIO web管理页面的地址+端口,其中地址同上
  • /mnt/data/minio/config: 宿主机存放MinIO配置文件目录,其中private.key和publich.crt文件放在该目录certs文件夹下
  • /mnt/data/minio/data:宿主机存放数据的目录,MinIO里所有的桶数据均放在该目录下
  • MINIO_ACCESS_KEY:管理员用户名
  • MINIO_SECRET_KEY:管理员密码
  • 启动后,发现:

    第一个坑:明明已经将TLS的公私钥放到了对应的位置,为什么显示Not secure?

    原因是,TLS的公私钥对是针对abc.com这个域名,而访问是用IP+port的方式,所以出现Not secure的问题。把请求改为域名+port,可解决第一个坑:

    在登录页面,输入用户名密码后,出现:

    第二个坑:登录失败,报x509:cannot validate certificate for xxx.xxx.xxx.xxx because it doesn't contain any IP SANs

    谷歌大法后,找不到对应的解决方案,于是去github的MinIO的issue里搜索“x509”,找到一个类似的问题(cannot login to minio console #12646)以及解决方案:

    Run minio server --address "minio.ourdomain.com:443" --certs-dir /etc/minio/certs /mnt/disk{1...4}/data and it shall work fine - or add your IP to your certs.

    也就是说在启动MinIO服务的时候,需要在address字段指定其域名+端口号,那么修改docker启动配置如下:

    docker run -dit -p 39000:39000 -p 39001:39001 --name minio -v /mnt/data/miniotest/data:/data -v /mnt/data/miniotest/config:/root/.minio -e "MINIO_ACCESS_KEY=username" -e "MINIO_SECRET_KEY=password" minio/minio server /data --address "open.abc.com:39000" --console-address ":39001"
    

    重新登录,以为能解决这个问题,但是没想到,掉入了第三个坑。

    给address添加域名后,启动docker容器报错:

    那么问题就出现在address这个字段的配置上。结合之前没给address配置域名时可以成功启动并返回了MinIO自动分配的访问URL:

    将docker启动配置修改下,将address配置成172.17.0.2:39000,即:

    docker run -dit -p 39000:39000 -p 39001:39001 --name minio -v /mnt/data/miniotest/data:/data -v /mnt/data/miniotest/config:/root/.minio -e "MINIO_ACCESS_KEY=username" -e "MINIO_SECRET_KEY=password" minio/minio server /data --address "172.17.0.2:39000" --console-address ":39001"
    

    重新启动,发现API的URL变成了https://172.17.0.2:39000

    也就是说,对address配置,是可以改变API对应的URL。那为什么访问配置成open.abc.com:39000就不行呢?

    其实到这里,就很容易会猜想:MinIO服务启动,是不是需要先判断address配置给定的URL是否网络可联通?于是测试了下,果然不出所料:

    为什么open.abc.com ping不通?这就涉及到阿里云ECS的网络环境问题了:

    首先,该域名会映射到一个公网IP上;然后,该IP为弹性IP,与本ECS机器做绑定;但是,在该ECS里ping 这个弹性IP默认是ping不通的,也就是是说ping open.abc.com也ping不通。

    找到问题出在哪里后,解决就比较简单:给ECS添加一个本地hosts映射:

    echo "172.31.0.171 open.abc.com" >> /etc/hosts
    
  • 172.31.0.171是ECS本地eth0网卡的内网IP地址
  • 然后启动容器,添加--network=host(docker容器使用宿主机网络):

    docker run --network=host -dit -p 39000:39000 -p 39001:39001 --name minio -v /mnt/data/miniotest/data:/data -v /mnt/data/miniotest/config:/root/.minio -e "MINIO_ACCESS_KEY=username" -e "MINIO_SECRET_KEY=password" minio/minio server /data --address "open.abc.com:39000" --console-address ":39001"
    

    启动成功:

    登录成功:

    这(前)里(面)才(都)是(是)干(废)货(话)

    先在当前ECS里判断,需要设置的域名是否可以ping通,ping不通的话,手动添加域名映射到/etc/hosts

    echo "{{eth0的内网ip}} {{设置的域名}}" >> /etc/hosts
    

    docker方式启动:

    docker run --network=host -dit -p 39000:39000 -p 39001:39001 --name minio -v /mnt/data/miniotest/data:/data -v /mnt/data/miniotest/config:/root/.minio -e "MINIO_ACCESS_KEY=username" -e "MINIO_SECRET_KEY=password" minio/minio server /data --address "open.abc.com:39000" --console-address ":39001"
    

    docker-compose方式启动,docker-compose.yml

    version: '3'
    services:
      minio:
        image: minio/minio
        command: server  --address "open.abc.com:39000" --console-address ":39001" /data
        ports:
          - "39000:39000"
          - "39001:39001"
        extra_hosts:
          - "dns_1:172.17.0.1"
        environment:
          MINIO_ACCESS_KEY: "username"
          MINIO_SECRET_KEY: "password"
        volumes: