minio文件服务器 您所在的位置:网站首页 minio分布式部署docker minio文件服务器

minio文件服务器

2024-01-26 11:42| 来源: 网络整理| 查看: 265

minio文件服务器搭建以及使用

下载官网

wget https://dl.min.io/server/minio/release/linux-amd64/minio

简介

MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等。 MinIO是一个非常轻量的服务,可以很简单的和其他应用的结合,类似 NodeJS, Redis 或者 MySQL。 docker-compose 单机版安装 version: '3' services: minio: image: minio/minio hostname: "minio" ports: - 9000:9000 # api 端口 - 9001:9001 # 控制台端口 environment: MINIO_ACCESS_KEY: admin #管理后台用户名 MINIO_SECRET_KEY: admin123 #管理后台密码,最小8个字符 volumes: - /docker/minio/data:/data #映射当前目录下的data目录至容器内/data目录 - /docker/minio/config:/root/.minio/ #映射配置目录 command: server --console-address ':9001' /data #指定容器中的目录 /data privileged: true restart: always

image-20220809111603738

拉取镜像运行容器

docker-compose pull docker-compose up -d

image-20220809141155202

docker-compose 搭建 minio 分布式对象存储 部署

官方推荐docker-compose.yaml:下载地址

vim docker-compose.yml

version: '3.7' # 所有容器通用的设置和配置 x-minio-common: &minio-common image: minio/minio command: server --console-address ":9001" http://minio{1...4}/data expose: - "9000" # environment: # MINIO_ROOT_USER: minioadmin # MINIO_ROOT_PASSWORD: minioadmin healthcheck: test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"] interval: 30s timeout: 20s retries: 3 # 启动4个docker容器运行minio服务器实例 # 使用nginx反向代理9000端口,负载均衡, 你可以通过9001、9002、9003、9004端口访问它们的web console services: minio1: include /etc/nginx/mime.types; default_type application/octet-stream; log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; access_log /var/log/nginx/access.log main; sendfile on; keepalive_timeout 65; # include /etc/nginx/conf.d/*.conf; upstream minio { server minio1:9000; server minio2:9000; server minio3:9000; server minio4:9000; } server { listen 9000; listen [::]:9000; server_name localhost; # To allow special characters in headers ignore_invalid_headers off; # Allow any size file to be uploaded. # Set to a value such as 1000m; to restrict file size to a specific value client_max_body_size 0; # To disable buffering proxy_buffering off; location / { proxy_set_header Host $http_host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; proxy_connect_timeout 300; # Default is HTTP/1, keepalive is only enabled in HTTP/1.1 proxy_http_version 1.1; proxy_set_header Connection ""; chunked_transfer_encoding off; proxy_pass http://minio; } } }

image-20220809151523258

执行启动命令,看到各个节点healthy状态即成功

docker-compose up -d

image-20220809152413878

配置

浏览器访问任意节点web console,进行简单配置,配置会自动在节点间同步

创建桶(Buckets)后,选择管理(Manage),在总结(Summary)中可以进行访问策略(Access Policy)配置

image-20220809152445489

image-20220809152834611

选择菜单设置(Settings)-配置( Configuration),选择扫描器(Scanner),配置Max Wait和Cycle为1s,可以大大加快节点间的同步效率

image-20220809152922227

docker部署minio集群-多节点

准备3个节点,每个节点创建2个挂载点,由于集群模式下不能使用根磁盘,这里使用docker卷作为挂载点。 3节点的集群,故障一个节点时不影响对集群的读写操作。

1、所有节点配置主机名解析: cat >> /etc/hosts 1...2}

image-20220809160614633

minio-2节点执行 docker run -d --name minio \ --restart=always --net=host \ -e MINIO_ACCESS_KEY=minio \ -e MINIO_SECRET_KEY=minio123 \ -v minio-data1:/data1 \ -v minio-data2:/data2 \ minio/minio server \ --address 192.168.2.64:9000 \ http://minio-{1...3}/data{1...2}

image-20220809160729944

minio-3节点执行 docker run -d --name minio \ --restart=always --net=host \ -e MINIO_ACCESS_KEY=minio \ -e MINIO_SECRET_KEY=minio123 \ -v minio-data1:/data1 \ -v minio-data2:/data2 \ minio/minio server \ --address 192.168.2.241:9000 \ http://minio-{1...3}/data{1...2}

image-20220809160813723

说明:docker部署集群模式时必须指定–net=host参数,使用主机网络,使用端口映射无法创建集群。

查看容器日志,创建1个zone、1个set以及6个在线的drivers:

[root@minio-1 ~]# docker logs -f minio ...... Waiting for all other servers to be online to format the disks. Formatting 1st zone, 1 set(s), 6 drives per set. Waiting for all MinIO sub-systems to be initialized.. lock acquired Attempting encryption of all config, IAM users and policies on MinIO backend All MinIO sub-systems initialized successfully Status: 6 Online, 0 Offline. Endpoint: http://192.168.92.10:9000 Browser Access: http://192.168.92.10:9000 Object API (Amazon S3 compatible): Go: https://docs.min.io/docs/golang-client-quickstart-guide Java: https://docs.min.io/docs/java-client-quickstart-guide Python: https://docs.min.io/docs/python-client-quickstart-guide JavaScript: https://docs.min.io/docs/javascript-client-quickstart-guide .NET: https://docs.min.io/docs/dotnet-client-quickstart-guide Waiting for all MinIO IAM sub-system to be initialized.. lock acquired

image-20220809164518214

浏览器访问minio UI,任意节点IP:

image-20220809165214997

故障场景:

场景1:模拟一个节点故障,上传数据验证minio能够正常读写,节点重新上线后集群自动恢复正常:

[root@minio-3 ~]# docker stop minio

场景2:模拟一个节点彻底故障无法恢复,在一个节点上使用下面清理容器集群命令彻底删除数据,只需在准备一个节点,配置好hosts解析,然后执行启动集群命令即可。

清理minio容器集群 docker stop minio docker rm minio docker volume rm minio-data1 minio-data2 配置负载均衡

使用nginx和keepalived部署负载均衡,实际部署需要额外准备2个节点,这里作为测试复用minio集群前2个节点。

在192.168.92.241及192.168.92.242节点执行以下操作: 负载均衡配置一个就可以了

准备nginx配置文件,2个节点执行: mkdir -p /etc/nginx/conf.d cat > /etc/nginx/conf.d/minio-lb.conf /etc/keepalived/keepalived.conf


【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有