[워밍업 클럽: 쿠버네티스] 미션 #1. 쿠버네티스 설치 구간별 상태 확인 - wnsrlf0721님의 블로그 - 인프런

강의 수강 일자 : 25.05.28 (수)
미션 수행 일자 : 25.05.28 (수), 25.05.29 (목)

위 내용은 https://cafe.naver.com/f-e/cafes/30725715/articles/24?menuid=13&referrerAllArticles=false&page=2
쿠버네티스 강의를 듣고 미션을 따라가보며 쿠버네티스 환경을 이해하는 과정을 자연스럽게 적어냈다.

미션은 1번 부터 시작해서 마지막 9번까지로 되어있고,
분류를 했을 때,
1-3번은 개인 PC에 쿠버네티스를 설치한 후 설치가 잘 이루어졌는지, 버전을 확인하는 과정이고,
4-9번은 Vagrantfile 에 적힌 내용을 해석하는 과정이다.
우리는 Vagrant를 통해 가상환경을 구축하고, 쿠버네티스의 각종 노드들을 설치하는 과정을 배운다.

[1-1] 내 PC 네트워크 확인

▶ 윈도우 > 실행 > cmd 입력 > 확인

c:\사용자>ipconfig

IPv4 Address: 192.168.219.100 확인

[1-2] 내 PC 자원 확인

▶ 윈도우 하단 상태바 우클릭 > 작업관리자 > 성능 탭

~~일프로님이랑 동일한 CPU를 쓰고 있었네요... ㅎㅎ~~

[1-3] VirtualBox 설치 버전 확인

▶ Virtualbox 실행 > 도움말 > Virtualbox 정보

VirtualBox version: 7.1.6

[1-4] Vagrant 설치 버전 확인

▶ 윈도우 > 실행 > cmd 입력 > 확인

c:\사용자>vagrant --version

[1-5] 원격접속(MobaXterm) 설치 버전 확인

▶ MobaXterm 실행 > Help > About MobaXterm

[2-1] VirtualBox VM 확인

▶ Virtualbox 실행 > VM Name 확인

▶ 네이밍 : <Vagrant 폴더명>_<VM Name>_<ramdom>

[2-2] 내 VM에 적용된 NAT 확인

▶ Virtualbox 실행 > k8s_master-node 마우스 우클릭 > 설정 > 네트워크 > 어댑터 1

NAT에 연결이 되어있다 😀

[2-3] 내 VM에 적용된 Host-Only Network 확인

▶ Virtualbox 실행 > k8s_master-node 마우스 우클릭 > 설정 > 네트워크 > 어댑터 2

어뎁터 1에 NAT, 어뎁터 2에 Host-Only Network 가 연결된걸 확인했다.
강의에서 배운대로 잘 연결되어 있는걸 보니 신기하다 😆

[2-4] VirtualBox Host-Only cidr 확인

▶파일 > 도구 > Network Manager

처음에 들어가서 확인했을 땐 DHCP 서버가 활성화 되어있었다.
DHCP 서버 속성에서 서버 활성화를 해제해 DHCP 서버를 비활성화 해주었다.

[3-1] Rocky Linux 버전 확인

▶ k8s-master 원격접속 후 명령어 실행

[root@k8s-master ~]# cat /etc/*-release

위 명령어로 현재 OS가 Rocky Linux ver 8.8임을 확인했다.

[3-2] Hostname 확인

▶ k8s-master 원격접속 후 명령어 실행

[root@k8s-master ~]# hostname

[3-3], [3-4] Network 확인

▶ k8s-master 원격접속 후 명령어 실행

[root@k8s-master ~]# ip addr

[3-5] 자원(cpu, memory) 확인

▶ k8s-master 원격접속 후 명령어 실행

[root@k8s-master ~]# lscpu 
[root@k8s-master ~]# free -h

CPU 4코어, 메모리 6GB 가 할당된거를 확인할 수 있었다.

단계 1-3 까지는 내 PC에 대한 환경설정을 확인하는 단계였으면,

단계 4-9는 쿠버네티스 모든 node에 대한 설치 확인, master node 세팅 확인 작업이다.

이걸 적으면서도 단계별로 그림이 눈에 안들어오는데, 복습의 필요성을 또 한번 느끼고 간다 😂

미래의 내가 조금 더 고생해야지...

[4] Rocky Linux 기본 설정

▶ 타임존 설정 확인

(스크립트로 적용된 명령: timedatectl set-timezone Asia/Seoul) - 중복 실행할 필요는 없습니다.

[root@k8s-master ~]# timedatectl

[5] kubeadm 설치 전 사전작업

kubeam을 설치하기 전에 여러가지 사전 작업들을 고려한 뒤 설치를 해야하고,

2GB이상 램, 2 이상 CPU 등은 가상환경 설정 때 이미 해결한 것들이다.

우리가 추가로 실천할 작업들은 다음과 같다.

컴퓨터의 특정 포트들 개방 -> 네트워크 방화벽을 해제해서 모든 포트 개방
스왑의 비활성화

▶ 방화벽 해제 확인

(스크립트로 적용된 명령: systemctl stop firewalld && systemctl disable firewalld) - 중복 실행할 필요는 없습니다.

[root@k8s-master ~]# systemctl status firewalld

스크립트로 설정한

stop firewalld 명령어로 Active: inactive 된걸 확인

disable firewalld 명령어로 firewalld.service; disabled; 된걸 확인

방화벽 서비스 설정에 관한 명령어 참고했습니다 (서비스 종료 및 구동에 관한 명령어가 정리되어있다).
(https://m.blog.naver.com/res0324/221988642463)

▶ 스왑(swap) 비활성화 확인

(스크립트로 적용된 명령: swapoff -a && sed -i '/ swap / s/^/#/' /etc/fstab) - 중복 실행할 필요는 없습니다.

[root@k8s-master ~]# free 
[root@k8s-master ~]# cat /etc/fstab | grep swap

free로 메모리 상태를 확인해 swap된 메모리가 있는 지 확인 -> 스왑된 메모리 x

/cat/fstab 파일에 swap 을 검색해 관련된 문자열을 확인 -> # 주석처리가 잘 되어있음.

[6] 컨테이너 런타임 설치

[6-1] 컨테이너 런타임 설치 전 사전작업

▶ iptables 세팅

# 설정 세팅 확인

[root@k8s-master ~]# cat /etc/modules-load.d/k8s.conf 
[root@k8s-master ~]# cat /etc/sysctl.d/k8s.conf

# 모듈 적제 확인

[root@k8s-master ~]# lsmod | grep overlay 
[root@k8s-master ~]# lsmod | grep br_netfilter

#설정 세팅 확인 결과

#모듈 적제 확인 결과

[6-2] 컨테이너 런타임 (containerd 설치)

[Kubernetes Docs] :
https://kubernetes.io/ko/docs/setup/production-environment/container-runtimes/#containerd

[Containerd Release] :
https://github.com/containerd/containerd/blob/main/RELEASES.md#kubernetes-support

[6-2-1] containerd 패키지 설치 (option2)

[Containerd Docs] :
https://github.com/containerd/containerd/blob/main/docs/getting-started.md#option-2-from-apt-get-or-dnf

[6-2-1-1] docker engine (containerd.io)만 설치

관련 공식 문서[Docker Docs] :
https://docs.docker.com/engine/install/centos/#install-using-the-repository

▶ docker repo 설정 확인

(스크립트로 적용된 명령: yum install -y yum-utils, yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo)

[root@k8s-master ~]# yum repolist enabled

도커 엔진을 사용하기 위해선 먼저 도커 저장소를 설정 해야한다.
관련 스크립트를 적용하면 도커 저장소를 설정할 수 있고, 잘 적용되었는지 확인하는 과정이다.

확인한 결과 docker-ce-stable 설정이 enabled로 잘 적용되어있음을 확인했다.

▶containerd 설치 확인

(스크립트로 이미 적용된 명령: yum install -y containerd.io-1.6.21-3.1.el8) - 중복실행은 하지마세요!

[root@k8s-master ~]# systemctl status containerd

우리는 도커 엔진 중에 containerd.io 만을 설치했다.

containerd가 잘 설치되어있고, 활성화된 모습을 확인했다.

▶설치 가능한 버전의 containerd.io 리스트 확인

[root@k8s-master ~]# yum list containerd.io --showduplicates | sort -r

[6-3] 컨테이너 런타임 (CRI활성화)

쿠버네티스 문서에 Kubelet의 Cgroup의 Default가 cgroupfs라고 말씀 드렸는데,
레드햇 계열 리눅스(Rocky Linux) 의 경우 systemd를 메인으로 프로세스를 실행시키는 시스템이기 때문에,
쿠버네티스 설치시Default로 systemd가 세팅됩니다.
이 경우 containerd도 systemd로 변경하여 모두 systemd를 쓰는게 Core 사용에 부담이 없습니다.

관련 공식 문서[Kubernetes Docs] :
https://kubernetes.io/ko/docs/setup/production-environment/container-runtimes/#containerd

▶ cri 활성화 설정 확인

(스크립트로 이미 적용된 명령: containerd config default > /etc/containerd/config.toml; sed -i 's/ SystemdCgroup = false/ SystemdCgroup = true/' /etc/containerd/config.toml) - 중복실행은 하지마세요!

[root@k8s-master ~]# cat /etc/containerd/config.toml

컨테이너 런타임(containerd) 상 systemdCroup = true 확인(systemd)
만약 false 일 경우 cgroupfs 이니 systemd로 변경 필요

▶ kubelet cgroup 확인 (configmap)

[root@k8s-master ~]# kubectl get -n kube-system cm kubelet-config -o yaml

▶ kubelet cgroup 확인 (kubelet)

[root@k8s-master ~]# cat /var/lib/kubelet/config.yaml

쿠버네티스(kubelet) 상 cgroup이 systemd인 것을 확인하였다.

[7] kubeadm 설치

우리가 설정했던 스크립트 중 [echo '======== [7] kubeadm 설치 ========'] 이후부터 글을 확인하면
위에 코드들이 스크립트에 적용된 걸 확인할 수 있다.

▶ repo 설정 확인

[root@k8s-master ~]# yum repolist enabled

쿠버네티스가 repo에 설정된걸 확인할 수 있다.

▶ SELinux 설정 확인

[root@k8s-master ~]# cat /etc/selinux/config 
[root@k8s-master ~]# sestatus

SELINUX=permissive 확인

▶ kubelet, kubeadm, kubectl 패키지 설치

(스크립트로 이미 적용된 명령: yum install -y kubelet-1.27.2-150500.1.1.x86_64 kubeadm-1.27.2-150500.1.1.x86_64 kubectl-1.27.2-150500.1.1.x86_64 --disableexcludes=kubernetes) - 중복실행은 하지 마세요!

#버전 보기

[root@k8s-master ~]# kubeadm version 
[root@k8s-master ~]# kubectl version

#상태 보기

[root@k8s-master ~]# systemctl status kubelet

#설정 파일 위치

[root@k8s-master ~]# cat /var/lib/kubelet/config.yaml

#로그 조회

journalctl -u kubelet | tail -10

#버전 보기 결과

kubeadm GitVersion: "v1.27.2" , kubectl GitVersion: "v1.27.2"

#상태 보기 결과

kubelet active(running) 확인

* stop 상태일 때는 아래 명령으로 올리기

[root@k8s-master ~]# systemctl restart kubelet

▶ 설치 가능한 버전의 kubeadm 리스트 확인

[root@k8s-master ~]# yum list --showduplicates kubeadm --disableexcludes=kubernetes

[8] kubeadm으로 클러스터 생성

관련 공식 문서 [Kubernetes Docs] :
https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/

[8-1] 클러스터 초기화 (Pod Network 세팅)

▶ 클러스터 상태 확인

(스크립트로 이미 적용된 명령: kubeadm init --pod-network-cidr=20.96.0.0/12 --apiserver-advertise-address 192.168.56.30) - 중복실행은 하지 마세요!

# master node 상태확인

[root@k8s-master ~]# kubectl get node

# pod network cidr 설정 확인

[root@k8s-master ~]# kubectl cluster-info dump | grep -m 1 cluster-cidr

# apiserver advertise address 적용 확인

[root@k8s-master ~]# kubectl cluster-info

# kubernetes component pod 확인

[root@k8s-master ~]# kubectl get pods -n kube-system

▶ 실행 결과 :

스크립트 상 설정했던 pod-network-cidr 값과 apiserver-advertise-address 값이 정상 적용된걸 확인할 수 있다.

* Cluster가 정상이 아닐 때는 아래 명령으로 reset후 다시 init 해주기.

* reset 실행 후 1분 정도 시간이 지난 후에 init을 해주세요.

[root@k8s-master ~]# kubeadm reset 
[root@k8s-master ~]# kubeadm init --pod-network-cidr=20.96.0.0/12 --apiserver-advertise-address 192.168.56.30

[8-2] kubectl 사용 설정

▶ 인증서 설정 확인

[root@k8s-master ~]# cat ~/.kube/config

[8-3] CNI Plugin 설치 (calico)

▶ calico pod 설치 및 pod network cidr 적용 확인

# Calico Pod 상태 확인

[root@k8s-master ~]# kubectl get -n calico-system pod 
[root@k8s-master ~]# kubectl get -n calico-apiserver pod

# Calico에 pod network cidr 적용 확인

[root@k8s-master ~]# kubectl get installations.operator.tigera.io default -o yaml | grep cidr

▶ 실행 결과 :

* Calico 설치가 정상이 아닐 때 (Calico가 CrashLoopBackOff 상태고, coredns가 가 Pending 상태)

#Calico 삭제

kubectl delete -f https://raw.githubusercontent.com/k8s-1pro/install/main/ground/k8s-1.27/calico-3.26.4/calico.yaml 
kubectl delete -f https://raw.githubusercontent.com/k8s-1pro/install/main/ground/k8s-1.27/calico-3.26.4/calico-custom.yaml

#Calico 재설치

[root@k8s-master ~]# kubectl create -f https://raw.githubusercontent.com/k8s-1pro/install/main/ground/k8s-1.27/calico-3.26.4/calico.yaml 
[root@k8s-master ~]# kubectl create -f https://raw.githubusercontent.com/k8s-1pro/install/main/ground/k8s-1.27/calico-3.26.4/calico-custom.yaml

[8-4] Master에 pod를 생성 할 수 있도록 설정

▶ Master Node에 Taint 해제 확인

(스크립트로 이미 적용된 명령: kubectl taint nodes k8s-master node-role.kubernetes.io/control-plane- )

[root@k8s-master ~]# kubectl describe nodes | grep Taints

▶ 실행 결과 :

[9] 쿠버네티스 편의 기능 설치

[9-1] kubectl 자동완성 기능

▶ kubectl 기능 설정 확인

[root@k8s-master ~]# cat ~/.bashrc

▶ 실행 결과 :

[9-2] Dashboard 설치

▶ dashboard 설치 확인

[root@k8s-master ~]# kubectl get pod -n kubernetes-dashboard

▶ 실행 결과 :

[9-3] Metrics Server 설치

▶ metrics server 설치 확인

[root@k8s-master ~]# kubectl get pod -n kube-system | grep metrics 
[root@k8s-master ~]# kubectl top pod -A

* 설치 후 kubectl top pod -A 명령시 error: Metrics API not available 메세지가 나올때

최초 설치시 / VM 재기동시 매트릭 정보가 수집되는데 시간이 좀 걸릴 수 있습니다.

회고

사실 강의를 들으면서 모르는게 생기면 계속 반복해서 듣게 되었고, 그렇게 강의 듣는 시간이 길어졌다 😂

이렇게 복습하면서 강의 내용을 다시 되짚고, 스크립트 코드와 쿠버네티스 공식 문서들을 번갈아가며 확인해보니
왜 강사님이 스크립트를 그렇게 짰고, 우리가 쿠버네티스 설정을 하기 위해 이러한 사전지식들을 알고 있어야 하는구나 깨달았다.

아직 위에 4-9까지 그림이 완벽하게 이해되지는 않았다(50%정도 이해한 것 같다 ㅠ).

그래도 이렇게 미션으로 실습 내용을 되짚어보고, 나중에 1.5배속으로 강의를 들으면서 했던 실습들을 리마인드 한다면!!
이 쿠버네티스 개념들을 바로잡을 수 있을 것 같다는 막연한 자신감이 생겼다 ㅋㅋ

쉽지는 않았지만, 이 미션이나 강의가 없었더라면 직접 공식문서를 보고, 관련블로그를 찾아가며 해결했었을 거라는 생각에 오히려 다행이라고 생각했다 😁.