好记性不如
烂笔头
,趁热记录下,给未来的自己
最近在配置预生产环境,为了尽量保证其与未来的生产环境保持一致,相较于开发环境,需要将访问协议从HTTP切换为HTTPS,而现有的MinIO部署还是以HTTP方式(默认)对外提供服务,这就会导致在HTTPS页面中无法获取基于HTTP的MinIO的数据。那么,就需要对MinIO进行改造,使其支持HTTPS协议访问。
思路有两个:
万能大法,通过nginx反向代理,将https配置在nginx侧,内部的MinIO还是使用HTTP;
MinIO服务端直接配置成HTTPS;
确定大概方向的可能性后,在网上也搜索了下(
链接
),和预计的差不多,基本就nginx反向代理和MinIO配置成HTTPS两种方式。第一种方式的话,网上有现成的方案,可以作为兜底方案;第二种方式,普遍反映根据官网的教程,无法实现HTTPS访问。但是既然官网文档有明确表示支持HTTPS,那么该方案一定是可行的。所以,计划从第二个方案入手,如果走不通,再采用兜底方案。
Centos 8.3
Docker 20.1
选择了第二个方案,就意味着踩坑的开始。
首先,根据官网描述(
How to secure access to MinIO server with TLS
),将TLS的公私钥放到:
{{HOME}}/.minio/certs
里。
私钥需要命名为:private.key
公钥需要命名为:public.crt (如果公钥是以pem格式结尾,可直接改为crt格式)
启动MinIO容器:
docker run -dit -p 39000:39000 -p 39001:39001 --name minio -v /mnt/data/miniotest/data:/data -v /mnt/data/miniotest/config:/root/.minio -e "MINIO_ACCESS_KEY=username" -e "MINIO_SECRET_KEY=password" minio/minio server /data --address ":39000" --console-address ":39001"
成功启动:
可以看到访问的协议已经换成了HTTPS。
address
: Minio API调用的地址+端口,其中地址可以是IP或者host
console-address
: MinIO web管理页面的地址+端口,其中地址同上
/mnt/data/minio/config
: 宿主机存放MinIO配置文件目录,其中private.key和publich.crt文件放在该目录certs文件夹下
/mnt/data/minio/data
:宿主机存放数据的目录,MinIO里所有的桶数据均放在该目录下
MINIO_ACCESS_KEY
:管理员用户名
MINIO_SECRET_KEY
:管理员密码
启动后,发现:
第一个坑:明明已经将TLS的公私钥放到了对应的位置,为什么显示Not secure?
原因是,TLS的公私钥对是针对abc.com
这个域名,而访问是用IP+port
的方式,所以出现Not secure
的问题。把请求改为域名+port
,可解决第一个坑:
在登录页面,输入用户名密码后,出现:
第二个坑:登录失败,报x509:cannot validate certificate for xxx.xxx.xxx.xxx because it doesn't contain any IP SANs
谷歌大法后,找不到对应的解决方案,于是去github的MinIO的issue里搜索“x509”,找到一个类似的问题(cannot login to minio console #12646)以及解决方案:
Run minio server --address "minio.ourdomain.com:443" --certs-dir /etc/minio/certs /mnt/disk{1...4}/data and it shall work fine - or add your IP to your certs.
也就是说在启动MinIO服务的时候,需要在address字段指定其域名+端口号,那么修改docker启动配置如下:
docker run -dit -p 39000:39000 -p 39001:39001 --name minio -v /mnt/data/miniotest/data:/data -v /mnt/data/miniotest/config:/root/.minio -e "MINIO_ACCESS_KEY=username" -e "MINIO_SECRET_KEY=password" minio/minio server /data --address "open.abc.com:39000" --console-address ":39001"
重新登录,以为能解决这个问题,但是没想到,掉入了第三个坑。
给address添加域名后,启动docker容器报错:
那么问题就出现在address这个字段的配置上。结合之前没给address配置域名时可以成功启动并返回了MinIO自动分配的访问URL:
将docker启动配置修改下,将address配置成172.17.0.2:39000
,即:
docker run -dit -p 39000:39000 -p 39001:39001 --name minio -v /mnt/data/miniotest/data:/data -v /mnt/data/miniotest/config:/root/.minio -e "MINIO_ACCESS_KEY=username" -e "MINIO_SECRET_KEY=password" minio/minio server /data --address "172.17.0.2:39000" --console-address ":39001"
重新启动,发现API的URL变成了https://172.17.0.2:39000
:
也就是说,对address配置,是可以改变API对应的URL。那为什么访问配置成open.abc.com:39000
就不行呢?
其实到这里,就很容易会猜想:MinIO服务启动,是不是需要先判断address配置给定的URL是否网络可联通?于是测试了下,果然不出所料:
为什么open.abc.com
ping不通?这就涉及到阿里云ECS的网络环境问题了:
首先,该域名会映射到一个公网IP上;然后,该IP为弹性IP,与本ECS机器做绑定;但是,在该ECS里ping 这个弹性IP默认是ping不通的,也就是是说ping open.abc.com
也ping不通。
找到问题出在哪里后,解决就比较简单:给ECS添加一个本地hosts映射:
echo "172.31.0.171 open.abc.com" >> /etc/hosts
172.31.0.171
是ECS本地eth0网卡的内网IP地址
然后启动容器,添加--network=host
(docker容器使用宿主机网络):
docker run --network=host -dit -p 39000:39000 -p 39001:39001 --name minio -v /mnt/data/miniotest/data:/data -v /mnt/data/miniotest/config:/root/.minio -e "MINIO_ACCESS_KEY=username" -e "MINIO_SECRET_KEY=password" minio/minio server /data --address "open.abc.com:39000" --console-address ":39001"
启动成功:
登录成功:
这(前)里(面)才(都)是(是)干(废)货(话)
先在当前ECS里判断,需要设置的域名是否可以ping通,ping不通的话,手动添加域名映射到/etc/hosts
echo "{{eth0的内网ip}} {{设置的域名}}" >> /etc/hosts
docker方式启动:
docker run --network=host -dit -p 39000:39000 -p 39001:39001 --name minio -v /mnt/data/miniotest/data:/data -v /mnt/data/miniotest/config:/root/.minio -e "MINIO_ACCESS_KEY=username" -e "MINIO_SECRET_KEY=password" minio/minio server /data --address "open.abc.com:39000" --console-address ":39001"
docker-compose方式启动,docker-compose.yml
:
version: '3'
services:
minio:
image: minio/minio
command: server --address "open.abc.com:39000" --console-address ":39001" /data
ports:
- "39000:39000"
- "39001:39001"
extra_hosts:
- "dns_1:172.17.0.1"
environment:
MINIO_ACCESS_KEY: "username"
MINIO_SECRET_KEY: "password"
volumes: