[Docker/K8S] 웹 서비스를 GKE로 배포하기(3) - DB 워크로드 설정하기

이번에 업무과정에서 썼던 툴들을 정리해보면서 k8s 웹 배포를 작년에 했던 기억을 되살려 다시 공부해보면서 포스팅하기로 했다. 지난 포스팅에서는 kubectl, gcloud를 설치하고 fastapi 측 워크로드 컨테이너를 gke 위에 올려보았다. 이번 포스팅에서는 DB 설정에 필요한 파일들을 만들어보면서 PV, PVC, configmap 등 내가 헷갈렸던 것들을 정리해보는 시간을 가진다.

목표

• GKE(Google Kubernetes Engine)와 GCE(Google Compute Engine) 등을 활용한 풀스택 웹 서비스 배포하기
  1. docker file 구성하기
  2. kubectl 활용하기
  3. 쿠버네티스 구성에 관한 이해 및 적용
     • Deployment
     • StatefulSet
     • Persistent Volume
     • Service
     • Gateway 

1. DB

• Database는 Stateful Set 을 사용하여 쿠버네티스에 올린다.
• DB는 원래도 상태정보가 있는(stateful) 요소이다. K8S의 Stateful set에 대해서 설명하기 위해 이전 포스팅의 Deployment와 비교해보겠다.
  • Deployment(Replica Set)로 생성된 Pod는 업데이트를 위해 대체되거나 삭제할 때 기존 Pod와 새로운 Pod가 이름, IP 주소 등이 같은 것을 보장하지 않는다.
  • 반면 Stateful Set은 각각의 Pod 마다 고유의 Volume을 가지고, 삭제하거나 하더라도 기존 Pod와 똑같은 이름과 IP를 가진 동일 Pod로 생성되기 때문에 Volume과 연결을 지속할 수 있다.
  • replica set으로 volume(Persistant Volume Claim)과 연결하고 있다가 연결 pod 수를 0으로 만들면 PVC도 사라지지만, stateful set의 경우에는 PVC가 사라지지 않아 새로 Pod를 생성하면 그대로 사용할 수 있다.
  • 결론적으로, Pod가 N개면 PVC도 N개, PV도 N개로 각 Pod는 자신에게 독립적으로 할당된 하나의 PV에만 연결된다.

A. Persistent Volume / Claim

• Persistent Volume
  • 클러스터의 스토리지이자 리소스.
  • Pod 전용 볼륨처럼 사용한다.
• Persistent Volume Claim
  • 스토리지에 대한 사용자의 요청. 특정 크기 / 접근모드 등 
  • 스토리지와 Pod를 잇는 연결다리라고 생각하면 쉽겠다.
  • 정적 프로비저닝(관리자가 직접생성)과 동적 프로비저닝(PVC를 위해 스토리지 클래스 기반으로 프로비저닝) 하는 방식이 있다.
• Pod가 사용 중인 PVC를 삭제하면 PVC는 즉시 삭제되지 않고 Pod가 사용되지 않을 때까지 삭제가 연기된다.
• PVC에 바인딩 되어있는 PV를 삭제하면 PV는 즉시 삭제되지 않고 PVC에 바인딩 되지 않을 때까지 삭제가 연기된다.

• 내가 처음에 하려고 했던 것은 사실 persistent volume 하나를 두고 pvc나 pod가 바뀌어도 계속 사용할 수 있게끔 하는 것이었다. 그런데 stateful set은 그렇게 동작하지는 않고, PV와 PVC가 하나의 짝꿍으로 영속적으로 묶인다.
• pod마다 pv와 pvc가 새로 생긴다면 pod를 교체했을 때 외부에서 기존 데이터에 접근할 수 없지 않을까?
  • stateful set은 pod가 삭제되어도 PVC와 PV를 삭제하지 않는다.
  • 이전과 동일한 이름의 새 pod를 생성한다면 새 pod는 기존 PVC를 찾아 마운트한다.
  • 그럼 이전의 DB에 접근할 수 있다.

 

B. StatefulSet

• 바로 yaml 파일을 보면서 분석해보자.

# StatefulSet
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: postgresql
  namespace: web
spec:
  serviceName: postgresql
  replicas: 1
  selector:
    matchLabels:
      app: postgresql
  template:
    metadata:
      labels:
        app: postgresql
    spec:
      containers:
        - name: postgres
          image: postgres:15
          env:
            - name: POSTGRES_USER
              valueFrom:
                secretKeyRef:
                  name: postgres-credentials
                  key: POSTGRES_USER
            - name: POSTGRES_PASSWORD
              valueFrom:
                secretKeyRef:
                  name: postgres-credentials
                  key: POSTGRES_PASSWORD
          ports:
            - containerPort: 5432
          volumeMounts:
            - name: postgres-data
              mountPath: "/data/postgres"
              subPath: postgresql-data
            - name: pg-config
              mountPath: "/docker-entrypoint-initdb.d"
      volumes:
        - name: pg-config
          configMap:
            name: postgres-initdb-config
  volumeClaimTemplates:
    - metadata:
        name: postgres-data
      spec:
        accessModes:
          - ReadWriteOnce
        resources:
          requests:
            storage: 5Gi

• Deployment 와 다른 부분은 volumeMounts, volumes, volumeClaimTemplates 부분이다.

volumeClaimTemplates

• pod가 새로 생길 때마다 이 템플릿대로 pvc를 만들어주세요~ 하는 것이다.
• pvc가 생성되고 pv가 pvc에 맞춰 생성된다. 

• pv access mode는 read write once이다. 하나의 pv에 하나의 pvc만 붙일 수 있기 때문에!
• resources.requests에서는 저장공간 5Gi를 요청했다.

volumeMounts / volumes

• volumeMounts를 먼저 보자. 말 그대로 존재하는 volume을 이 컨테이너에 마운트 한다는 뜻이다.
• 이름이 postgres-data 이다. 이는 volumeClaimTemplate 에서 지정한 이름과 같다. 그러니까 이 파트에서 마운트하는 볼륨이 PV라는 것을 알 수 있다.
• mountPath와 subPath는 컨테이너 내 어디에 volume을 mount할 것인지를 정한다.
• 그 다음 volume의 이름은 pg-config 이고, 이는 아래 spec.template.spec.volumes에 있는 volume과 같다. 
• 이 경우에는 pv가 아니고, 어떤 저장공간 등을 /docker-entrypoint-initdb.d 로 마운트하는 것이다. 
•  

C. Config Map

• configMap은 key-value 형태로 이루어진 기밀이 아닌 데이터를 저장하는 오브젝트이다.
• 첫 번째 포스트에서 postgresql의 custom docker image를 만들었던 이유인 init.sql 의 동작을 저장해두기 위해서 configMap을 사용할 것이다. 
• init.sql 을 다시 보자.

// init.sql
DO
$$
BEGIN
    IF NOT EXISTS (SELECT 1 FROM pg.catalog.pg_roles WHERE rolename == 'dain') THEN
        CREATE ROLE dain WITH LOGIN PASSWORD 'password';
    END IF;
END
$$;

DO
$$
BEGIN 
    IF NOT EXISTS (SELECT 1 FROM pg_database WHERE datname == 'energy_monitor') THEN
        CREATE DATABASE energy_monitor OWNER dain;
    END IF;
END
$$;

ALTER DATABASE energy_monitor OWNER TO dain;

• 이 파일을 그대로 configMap 데이터로 만들려고 했을 때, 두 가지 문제가 있었다.
  1. rolname이나 password와 같은 기밀이 암호화되지 않는 conigMap 파일에 그대로 노출
  2. CREATE DATABASE cannot run inside a transaction block 오류 발생
• 첫 번째 문제 해결을 위해 rolename, password로 지정한 내용들을 secret 형태로 옮겼다. 기본 유저인 POSTGRES_USER, POSTGRES_PASSWORD 환경변수로 만들면 새로 유저를 만들 필요가 없다.

# Secret
apiVersion: v1
kind: Secret
metadata:
  name: postgres-credentials
  namespace: web
type: Opaque
stringData:
  POSTGRES_USER: "dain"
  POSTGRES_PASSWORD: "password"

• 두 번째 문제는 CREATE DATABASE 명령어가 트랜잭션 블록 안에 있기 때문에 발생한다.
• 위에서 만들려고 했던 user를 기본으로 설정했기 때문에 이제 유저가 있는지 확인할 필요가 없으므로, DO~ 로 시작하는 트랜잭션 블록에서 분리해 DB가 있는지만 확인하고 없으면 생성하도록 하면 된다.

# Config Map
apiVersion: v1
kind: ConfigMap
metadata:
  name: postgres-initdb-config
  namespace: web
data:
  pg-init-sql.sql: |
    SELECT 'CREATE DATABASE energy_monitor OWNER dain'
    WHERE NOT EXISTS (SELECT FROM pg_database WHERE datname = 'energy_monitor')\gexec

• configMap에는 spec 대신 data / binaryData가 있고, key-value 형태로 이루어진다. 
• configMap의 metadata.name을 volumes에서 그대로 쓴다. 
• 다시 statefulset에서 configMap 마운트 부분을 보면,

  volumeMounts:
    - name: postgres-data
      mountPath: "/data/postgres"
      subPath: postgresql-data
    - name: pg-config
      mountPath: "/docker-entrypoint-initdb.d"
volumes:
- name: pg-config
  configMap:
    name: postgres-initdb-config

• volumes에서 configMap type을 지정하고, configMap 이름을 맞는 것을 써준다. volume의 별칭도 정한다.
• volumeMounts에서 volume에 선언한 별칭을 name으로 써서 어떤 volume을 마운트할 것인지 확정하고, 이 volume을 mount할 경로를 적어주면 된다.

 

D. Service

• 마지막으로 지난 포스트에서 했던 것과 비슷하게 이 stateful set의 요청을 받아서 전달해줄 service를 띄우면 된다. 
• 이번에는 외부 머신에서 DB에 직접 접속할 일은 없기 때문에 클러스터 내에서 통신할 수 있도록 Cluster IP  type으로 선언해주었다.

# Service
apiVersion: v1
kind: Service
metadata:
  name: postgresql
  namespace: web
spec:
  type: ClusterIP
  selector:
    app: postgresql
  ports:
    - name: tcp
      port: 5432
      targetPort: 5432

 

E. 띄워보기!

• 이제 여태껏 만든 것들을 GKE 클러스터에 띄워볼 것이다.

• 위 부분에서 연결 버튼을 누르면 CLI와 연결할 수 있는 명령어를 제공해준다.

gcloud container clusters get-credentials <cluster-name> --region <region> --project <project-id>

• 그리고 namespace를 default 아니고 다른 걸 썼으면 kubectl create namespace <name> 으로 만들자.
• 순서는 secret/configMap > DB > DB service > Web > Web Service 순으로 띄워야한다.
• 그리고 kubernetes 공식 문서에서 구성 모범 사례를 보면  의미상 맞다면 가능한 연관된 오브젝트들을 하나의 파일에 모아 놓는다. 때로는 여러 개의 파일보다 하나의 파일이 더 관리하기 쉽다. 라고 되어있으므로, 나는 크게 DB쪽 파일 4개를 하나로 묶고, Web쪽 파일 2개를 하나로 묶었다. 전문은 아래와 같다.

# Secret
apiVersion: v1
kind: Secret
metadata:
  name: postgres-credentials
  namespace: web
type: Opaque
stringData:
  POSTGRES_USER: "dain"
  POSTGRES_PASSWORD: "password"

---
# Config Map
apiVersion: v1
kind: ConfigMap
metadata:
  name: postgres-initdb-config
  namespace: web
data:
  pg-init-sql.sql: |
    SELECT 'CREATE DATABASE energy_monitor OWNER dain'
    WHERE NOT EXISTS (SELECT FROM pg_database WHERE datname = 'energy_monitor')\gexec

---
# StatefulSet
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: postgresql
  namespace: web
spec:
  serviceName: postgresql
  replicas: 1
  selector:
    matchLabels:
      app: postgresql
  template:
    metadata:
      labels:
        app: postgresql
    spec:
      containers:
        - name: postgres
          image: postgres:15
          env:
            - name: POSTGRES_USER
              valueFrom:
                secretKeyRef:
                  name: postgres-credentials
                  key: POSTGRES_USER
            - name: POSTGRES_PASSWORD
              valueFrom:
                secretKeyRef:
                  name: postgres-credentials
                  key: POSTGRES_PASSWORD
          ports:
            - containerPort: 5432
          volumeMounts:
            - name: postgres-data
              mountPath: "/data/postgres"
              subPath: postgresql-data
            - name: pg-config
              mountPath: "/docker-entrypoint-initdb.d"
      volumes:
        - name: pg-config
          configMap:
            name: postgres-initdb-config
  volumeClaimTemplates:
    - metadata:
        name: postgres-data
      spec:
        accessModes:
          - ReadWriteOnce
        resources:
          requests:
            storage: 5Gi

---
# Service
apiVersion: v1
kind: Service
metadata:
  name: postgresql
  namespace: web
spec:
  type: ClusterIP
  selector:
    app: postgresql
  ports:
    - name: tcp
      port: 5432
      targetPort: 5432

• 이렇게 띄우고 나면 여기저기에서 잘 띄워졌는지 여부를 확인할 수 있다. 먼저 명령줄 도구에서는,

kubectl <type> -n <namespace>

• 이렇게 명령어를 사용해서 리스트와 상태 등을 확인할 수 있다.

• google cloud 콘솔 홈페이지에서는 크게 워크로드와 보안 비밀 및 ConfigMap, 게이트웨이, 서비스, 인그레스 페이지에서 확인이 가능하다.

StatefulSet

Service

secret 및 config map

secret 암호화된 것을 볼 수 있다.

configMap

• 이제 웹 워크로드도 올려보겠다.
• 합친 전문은 아래와 같다.

# Deployment
apiVersion: apps/v1
kind: Deployment
metadata:
  name: server
  namespace: web
  labels:
    app: server
spec:
  replicas: 1
  selector:
    matchLabels:
      app: server
  template:
    metadata:
      name: server
      labels:
        app: server
    spec:
      containers:
        - name: server
          image: mysterias/web-service:251103-0.0
          env:
            - name: db_user
              valueFrom:
                secretKeyRef:
                  name: postgres-credentials
                  key: POSTGRES_USER
            - name: db_password
              valueFrom:
                secretKeyRef:
                  name: postgres-credentials
                  key: POSTGRES_PASSWORD
            - name: db_host
              value: "postgresql"
            - name: db_port
              value: "5432"
            - name: db_name
              value: "energy_monitor"
            - name: POSTGRES_USER
              valueFrom:
                secretKeyRef:
                  name: postgres-credentials
                  key: POSTGRES_USER
            - name: POSTGRES_PASSWORD
              valueFrom:
                secretKeyRef:
                  name: postgres-credentials
                  key: POSTGRES_PASSWORD
          ports:
            - containerPort: 8080
              name: server

---
# Service
apiVersion: v1
kind: Service
metadata:
  name: server-svc
  namespace: web
  labels:
    app: server
spec:
  selector:
    app: server
  ports:
    - protocol: TCP
      port: 80
      targetPort: 8080
  type: loadBalancer

• 최종적으로 web service가 정상적으로 올라갔다면, 서비스가 할당받은 외부 엔드포인트 ip와 지정한 포트에서 접속해서 웹 사이트를 볼 수 있다!