kubesystem에서 컨트롤러 부분이 crashloopbackoff관련 질문

vagrant 말고..강사님이 공유주신 이미지(m-k8s-1.24.0(github_SysNet4Admin))로 구성테스트 하고 있습니다.

질문자와 유사하게 "CrashLoopBackOff" 가 발생하여 원인 파악이 너무 힘들었습니다. ㅠㅠ..

[root@m-k8s ~]# k get pod -n kube-system
NAME                                      READY   STATUS             RESTARTS        AGE
calico-kube-controllers-56747d8f6-bs9bb   1/1     Running            3 (29m ago)     354d
calico-node-864sj                         1/1     Running            3 (29m ago)     354d
calico-node-9qdqz                         1/1     Running            3 (29m ago)     354d
calico-node-qxdwb                         0/1     CrashLoopBackOff   1 (4s ago)      9s

위와 같은 오류가 발생했구요.

master node에서 뭔가 해줘야하나..하고 뒤적거리다가..

https://github.com/sysnet4admin/IaC/tree/master/manifests

의 172.16_net_calico_v3.24.5.yaml 를 적용하고 정상으로 변경되었습니다.

뭔가 수정된 내용이 있을까요..?

[root@m-k8s ~]# k get pod -n kube-system
NAME                                       READY   STATUS              RESTARTS      AGE
calico-kube-controllers-84c476996d-68q8p   0/1     ContainerCreating   0             9s
calico-node-864sj                          1/1     Running             3 (45m ago)   354d
calico-node-9rffx                          0/1     Init:0/3            0             12s
calico-node-sxmvt                          0/1     Init:0/3            0             12s
calico-node-xftbj                          1/1     Running             2 (46m ago)   354d
coredns-6d4b75cb6d-9xgpp                   1/1     Running             2 (46m ago)   354d
coredns-6d4b75cb6d-k5hlk                   1/1     Running             2 (46m ago)   354d

위와 같이 init이 진행되다가 정상이 되었습니다.

[root@m-k8s ~]# k get pod -n kube-system
NAME                                       READY   STATUS    RESTARTS        AGE
calico-kube-controllers-84c476996d-68q8p   1/1     Running   1 (6m44s ago)   8m6s
calico-node-9rffx                          1/1     Running   0               8m9s
calico-node-9tpx4                          1/1     Running   0               5m15s
calico-node-dzfgx                          1/1     Running   0               6m38s
calico-node-sxmvt                          1/1     Running   0               8m9s
coredns-6d4b75cb6d-9xgpp                   1/1     Running   2 (54m ago)     354d
coredns-6d4b75cb6d-k5hlk                   1/1     Running   2 (54m ago)     354d

master_node.sh의

# raw_address for gitcontent
raw_git="raw.githubusercontent.com/sysnet4admin/IaC/master/manifests" 

# config for kubernetes's network 
kubectl apply -f https://$raw_git/172.16_net_calico_v1.yaml

의 부분이 수정이 되어야할까..싶기도 합니다.

어떤 부분이 수정이 있었을까요..^^;;

여튼..이력관리 차원으로 남겨둡니다.! 강의 잘 듣고 있습니다!

안녕하세요 

저러기 쉽지 않은데..아마 지금 노드를 제가 확인할순 없는데, calico-node-rknld 있잖나요. 

그게 아마 마스터 노드의 CNI 일꺼에요. 

그게 restart 되면서 관련성 있는 애들이 restart 되는걸로 의심이 되거든요. 

제일 쉬운 방법은

1. 마스터 노드를 끄고 다시 키는거 

2. 좀 이걸로 해결이 안된다 싶으면 모든 노드를 다 끄고 다시 키는거 추천합니다. 

CNI쪽이 어떤 것으로 인해서 그렇게 되었는지 찾으려면 찾을 수도 있지만(현재 상태에서 못 찾을 가능성도 높음), 그걸 위해서는 봐야할 것들이 많고 복구를 위해서는 위의 방법 자체가 나으실꺼에요. 

위의 2가지 방법으로도 해결 안되면 다시 말씀 부탁드려요!