Inflearn コミュニティ Q&A

자세한 캡쳐 감사합니다.

3번이나 해보셨으면, 다른 방법이 필요하겠네요.

쿠버네티스를 제대로 시작하기 전에 설치 부터 장애 처리부터 하시게 되서 어려움이 많으실 텐데요.

일단 calico가 정상적으로 삭제되지 않은 이유는 알기 힘들지만, 그 이후 다시 Calico 설치가 안된 이유는 calico에 대한 네임스페이스라는 리소스가 삭제되지 않아서 그럴 거고요. 해결 방법은 카페 자료실 이 링크를 보시면 됩니다. 근데 이건 나중에 쿠버네티스를 좀더 공부한 후에 같은 문제가 발생하면 해보시는 게 좋고요.

여러번 설치를 해봐도 Calico가 정상적으로 설치 되지 않는다면 여러가지 환경적인 문제가 있을 텐데,

먼저, 쿠버네티스 설치시 다운로드한 Vagrantfile에 192.168.56.30 IP에 대해서 변경이 있으셨을까요? calico 설치시 해당 IP가 Fix되어 있는 부분이 있기 때문에, IP를 변경하면 calico-custom.yaml의 내용도 수정을 해줘야 하는 부분이 있습니다.

아니라면, Calico의 버전을 높여 보는 게 좋은데, 다운로드 받은 Vagrantfile을 수정해서

스크립트 하단쪽에 calico 설치 부분을 아래 스크립트 변경해 보시겠어요?

echo '======== [8-3] Pod Network 설치 (calico) ========'
kubectl create -f https://raw.githubusercontent.com/k8s-1pro/install/main/under-thesea/k8s-cluster-1.30/calico-3.28.2/calico.yaml
kubectl create -f https://raw.githubusercontent.com/k8s-1pro/install/main/under-thesea/k8s-cluster-1.30/calico-3.28.2/calico-custom.yaml

제가 임의로 ip를 변경하거나 다른 부분을 변경한건 없습니다.

그리고 알려주신 대로 변경하고

vagrant destroy -> vagrant up 해서 확인해 봤는데 동일하네요..

이렇게 안되는 경우는 잘 없었는데.. 일단 마지막으로 최신 버전으로 한번 더 해볼게요.

아래 스크립트를 해보시고요.

kubectl create -f https://raw.githubusercontent.com/k8s-1pro/install/main/exam-cka/k8s-cluster-1.34/calico-3.31.1/operator-crds.yaml
kubectl create -f https://raw.githubusercontent.com/k8s-1pro/install/main/exam-cka/k8s-cluster-1.34/calico-3.31.1/tigera-operator.yaml
kubectl create -f https://raw.githubusercontent.com/k8s-1pro/install/main/exam-cka/k8s-cluster-1.34/calico-3.31.1/custom-resources.yaml

이것도 안되시면 Calico가 아닌 다른 CNI를 설치하는 방법으로 가야 할 것 같습니다.

일단 해보시고 답변 주세요.

operator, resources는 에러가 나네요

무시하고 실행시켜 봤는데 이후에도 여전히 똑같습니다.

저도 딱 동일한 케이스를 겪었습니다.

pending 걸려있는 pod들도 같았어요. 사실 전혀 혼자서 상황을 풀 수가 없어서 gpt에게 물어봐서 해결한 과정을 알려드리겠습니다. 도움이 됐으면 좋겠네요.

먼저 calico는 강사님이 1차로 수정해주셨던 버전으로 스크립트에 넣었다는 걸 먼저 알려드립니다.

kubectl create -f https://raw.githubusercontent.com/k8s-1pro/install/main/under-thesea/k8s-cluster-1.30/calico-3.28.2/calico.yaml 
kubectl create -f https://raw.githubusercontent.com/k8s-1pro/install/main/under-thesea/k8s-cluster-1.30/calico-3.28.2/calico-custom.yaml

$ kubectl get installation.operator.tigera.io -A

$ kubectl logs -n tigera-operator deploy/tigera-operator

두 커맨드로 calico 설치가 잘 됐는지와 로그를 확인.(이 역시 gpt의 디렉션입니다)

이 결과를 gpt에게 던졌더니 Calico IPPool CIDR과 kubeadm pod network CIDR이 서로 안 맞다고 함.(log는 굉장히 길기 때문에 직접 읽어가면서 원인 찾기는 사실상 불가능합니다. 전 그냥 다 긁어서 copy해서 gpt에게 던지니 textfile로 자동 변환되더라구요. 길더라도 그냥 다 copy/paste가 났습니다)

• IPPool 20.96.0.0/12 is not within the platform's configured pod network CIDR(s) [20.96.0.0/16]

• 그래서 operator가 waiting for enabled IP pools to be created

• kubeadm 쪽 Pod CIDR: 20.96.0.0/16

• Calico IPPool: 20.96.0.0/12

이 둘이 일치해야 하는데 안 맞으니 Calico 안 올라옴 -> CNI 미초기화 -> 노드 NotReady -> CoreDNS: pending의 흐름.

Calico IPPool을 kubeadm의 Pod CIDR에 맞추는 방향으로 진행
20.96.0.0/12가 아니라 **20.96.0.0/16

$ kubectl get installation.operator.tigera.io default -o yaml

-> spec.calicoNetwork.ipPools[].cidr 값이 20.96.0.0/12일 것.

$ kubectl edit installation.operator.tigera.io default

-> 위 커맨드로 해당 부분 수정. vi 형식이니 i 눌러서 편집 모드 하시고 수정해서 :wq로 저장하시면 됨.

그러고 다시 $ kubectl get pods -A
$ kubectl get nodes 하시면 되는데 전부 Running 및 Ready로 뜨려면 조금 걸릴 수 있음. 아니면 w 옵션까지 붙여서 진행상황 확인해보셔도 될 것 같음.

참고로 전 VirtualBox 7.1.16, Vagrant는 현 시점 최신 2.4.9로 진행했고 강사님이 가이드하신 virtualbox, vagrant 버전으로 시도했을 땐 virtualbox가 계속 설치 시 fatal error가 나서 포기했고, 각각 최신 버전으로 시도했을 땐 vagrant up에서 ssh Timed out 때문에 고생 좀 했습니다.

FAQ에는 이 두 소프트웨어의 버전은 크게 영향 안 받는다고 하셔서 저도 배제했었다가 이쪽이 문제가 될 거라 생각을 바꾸고 버전 조합을 좀 달리했더니 vagrant up은 다행히 넘어갔고 산을 하나 넘으니 또 질문자님과 같은 상황의 산을 만났었는데 다행히 클러스터 구성까지 성공했습니다. 꼭 성공하시길 바라겠습니다!

캡쳐를 잘 올려주셔서 상황 파악이 잘 되네요.

제가 드린 Calico 최신 스크립트는 앞에서 해보신 대로 Vagrantfile에 반영 해서 설치해야 합니다.

로그를 보니 기존 설치 완료 후에 이전 버전의 Calico가 설치되어 있는 상태에서 추가로 새 버전을 덮어씌우신 것 같아요.

글을 보니 너무 고생이 많으셨겠네요!

칼리코 설치가 이렇게 안되시는 분들을 위해서 다른 CNI 설치 가이드를 추가해야 겠다는 생각이 드네요. henney 님 좋은 답변 너무 감사 드립니다.

다른 CNI인 Flannel 설치 스크립트입니다.

Vagrantfile에서 Calico 설치 스크립트 부분을 삭제하고 아래 명령어로 대체하시면 되세요.

kubectl create -f https://raw.githubusercontent.com/k8s-1pro/install/main/ground/k8s-1.27/flannel-0.28.2/kube-flannel.yml

[조회 결과]

감사합니다. henney님이 알려주신대로 진행하여 해결 되었습니다.

제 설치 스크립트에 쿠버네티스 Pod의 cidr은 20.96.0.0/12 로 세팅을 하고 있습니다.

그래서 Calico의 cidr도 그렇게 세팅이 되어 있고요.

/12 대역으로 세팅을 했지만 쿠버네티스에서는 적용이 안되는 문제가 있는 건지는 확인을 해보겠습니다.

여튼 canon님 몇일 동안 고생하셨고요, henney님께도 자세한 도움 주셔서 다시한번 감사드립니다.

예 두분 모두 고생하셨고 도움이 되어서 다행입니다:)