[转帖]K8S 挂载 minio csi 的方式.

对象存储

前置条件
安装Minio（在102主机上操作）
安装csi-s3插件（在103主机上操作）
使用
参考

本文介绍kubernetes如何基于对象存储（minio）创建PV与PVC

前置条件

准备两台主机，如下：

192.168.92.102：Minio节点，用来安装Minio
192.168.92.103：K8S集群Master节点，已安装好K8S集群，节点信息如下

$ kubectl get node -o wide
NAME             STATUS   ROLES    AGE   VERSION   INTERNAL-IP      EXTERNAL-IP   OS-IMAGE                KERNEL-VERSION                CONTAINER-RUNTIME
192.168.92.103   Ready    master   62m   v1.17.3   192.168.92.103   <none>        CentOS Linux 7 (Core)   4.19.12-1.el7.elrepo.x86_64   docker://19.3.12

安装Minio（在102主机上操作）

下载minio

$ wget https://dl.min.io/server/minio/release/linux-amd64/minio

启动，配置数据存放目录为/minio，登录的用户名密码为admin/password，控制台监听端口为9001（API默认监听端口为9000）

$ MINIO_ROOT_USER=admin MINIO_ROOT_PASSWORD=password ./minio server /minio --console-address ":9001"
API: http://192.168.92.102:9000  http://127.0.0.1:9000       
RootUser: admin 
RootPass: password 

Console: http://192.168.92.102:9001 http://127.0.0.1:9001    
RootUser: admin 
RootPass: password 

Command-line: https://docs.min.io/docs/minio-client-quickstart-guide
   $ mc alias set myminio http://192.168.92.102:9000 admin password

Documentation: https://docs.min.io

然后，使用http://x.x.x.x:9001即可登录minio的页面

创建一个ServiceAccount，把它记录下来，下面会用到

`安装csi-s3插件（在103主机上操作）`

首先我们把插件的yaml文件都下载下来，为了保证版本测试的一致性，我们下载v1.2.0-rc.1这个Tag

$ wget https://github.com/ctrox/csi-s3/archive/refs/tags/v1.2.0-rc.1.zip

解压，会得到目录csi-s3-1.2.0-rc.1

$ unzip v1.2.0-rc.1.zip
$ ls 
csi-s3-1.2.0-rc.1  v1.2.0-rc.1.zip

接着，我们安装插件

$ cd csi-s3-1.2.0-rc.1/deploy/kubernetes
$ kubectl create -f provisioner.yaml
$ kubectl create -f attacher.yaml
$ kubectl create -f csi-s3.yaml

查看csi容器已经处地Running状态

$ kubectl get pod -n kube-system -o wide | grep csi
csi-attacher-s3-0                          1/1     Running   0          34s   172.26.145.6     192.168.92.103   <none>           <none>
csi-provisioner-s3-0                       2/2     Running   0          41s   172.26.145.5     192.168.92.103   <none>           <none>
csi-s3-pnj9s                               2/2     Running   0          27s   192.168.92.103   192.168.92.103   <none>           <none>

`使用`

首先我们在K8S集群中创建一个Minio的S3凭证，yaml文件如下（注意，这里secret下面用的stringData，所以下面的数据不需要经过base64编码）：

特别注意：在实验中发现，有时候provisioner容器会报Access Denied，此时把下面的端口从9001换成9000就可以了，很奇怪，但有时候9001端口也可以）

apiVersion: v1
kind: Secret
metadata:  
  name: csi-s3-secret  
  namespace: kube-system
stringData:
  accessKeyID: YO8QWKY8KW8YERUQ2G1G
  secretAccessKey: SPetUDOG4BJoUJ0pZMlyaeSZQlc2AePr4YyG895p  
  endpoint: "http://192.168.92.102:9001"  
  region: ""

接着，我们创建一个StorageClass（parameters中的命名空间为kube-system，和上面的secret要一致）

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: csi-s3
provisioner: ch.ctrox.csi.s3-driver
parameters:
  mounter: rclone
  csi.storage.k8s.io/provisioner-secret-name: csi-s3-secret
  csi.storage.k8s.io/provisioner-secret-namespace: kube-system
  csi.storage.k8s.io/controller-publish-secret-name: csi-s3-secret
  csi.storage.k8s.io/controller-publish-secret-namespace: kube-system
  csi.storage.k8s.io/node-stage-secret-name: csi-s3-secret
  csi.storage.k8s.io/node-stage-secret-namespace: kube-system
  csi.storage.k8s.io/node-publish-secret-name: csi-s3-secret
  csi.storage.k8s.io/node-publish-secret-namespace: kube-system

接着，我们创建一个PVC

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: csi-s3-pvc
  namespace: default
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
  storageClassName: csi-s3

在集群中查看PV已经动态供给了，PVC为绑定状态

$ kubectl get pvc
NAME         STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
csi-s3-pvc   Bound    pvc-43022336-15e9-4abd-a702-48a75e5ff292   1Gi        RWO            csi-s3         35m

我们再去到Minio的管理页面上看一下，已经有bucket生成