쿠버네티스 설치가 너무 어렵네요 노드 연결이 안됩니다!!

그리고 칼리코를 설치할때 아래 내용으로 설치해보시고요

kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml

네 문제없네요 ㅎ

네트워크 플러그인을 다시 설치해보는게 좋겠습니다

지금 플라넬과 칼리코가 둘다 설치되있는것 같은데

모두 지우고 캘리코만 다시 설치해보세요

넵 노드에서 보면

[root@k10s-node1 ~]# systemctl status kubelet

● kubelet.service - kubelet: The Kubernetes Node Agent

   Loaded: loaded (/usr/lib/systemd/system/kubelet.service; enabled; vendor preset: disabled)

  Drop-In: /usr/lib/systemd/system/kubelet.service.d

           └─10-kubeadm.conf

   Active: active (running) since 토 2021-03-20 22:37:32 KST; 13min ago

     Docs: https://kubernetes.io/docs/

 Main PID: 1464 (kubelet)

    Tasks: 13

   Memory: 34.2M

   CGroup: /system.slice/kubelet.service

           └─1464 /usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --config=/var/lib/kubelet/config.yaml --cgroup-driver=systemd --...

 3월 20 22:50:52 k10s-node1 kubelet[1464]: E0320 22:50:52.688965    1464 kubelet.go:2173] Container runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docke... uninitialized

 3월 20 22:50:53 k10s-node1 kubelet[1464]: W0320 22:50:53.756528    1464 cni.go:213] Unable to update cni config: No networks found in /etc/cni/net.d

 3월 20 22:50:57 k10s-node1 kubelet[1464]: E0320 22:50:57.690359    1464 kubelet.go:2173] Container runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docke... uninitialized

 3월 20 22:50:58 k10s-node1 kubelet[1464]: W0320 22:50:58.757126    1464 cni.go:213] Unable to update cni config: No networks found in /etc/cni/net.d

 3월 20 22:51:02 k10s-node1 kubelet[1464]: E0320 22:51:02.693311    1464 kubelet.go:2173] Container runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docke... uninitialized

 3월 20 22:51:03 k10s-node1 kubelet[1464]: W0320 22:51:03.757620    1464 cni.go:213] Unable to update cni config: No networks found in /etc/cni/net.d

 3월 20 22:51:07 k10s-node1 kubelet[1464]: E0320 22:51:07.721784    1464 kubelet.go:2173] Container runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docke... uninitialized

 3월 20 22:51:08 k10s-node1 kubelet[1464]: W0320 22:51:08.758663    1464 cni.go:213] Unable to update cni config: No networks found in /etc/cni/net.d

 3월 20 22:51:12 k10s-node1 kubelet[1464]: E0320 22:51:12.723415    1464 kubelet.go:2173] Container runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docke... uninitialized

 3월 20 22:51:13 k10s-node1 kubelet[1464]: W0320 22:51:13.759011    1464 cni.go:213] Unable to update cni config: No networks found in /etc/cni/net.d

Hint: Some lines were ellipsized, use -l to show in full.

[root@k10s-node1 ~]#

[root@k10s-node1 ~]#

node1에가서 kubelet이 정상적으로 떠 있는지 확인해보시겠어요?

systemctl status kubelet

요청하신 log입니다!

[root@k8s-master ~]#

[root@k8s-master ~]# kubectl get nodes

NAME              STATUS     ROLES    AGE   VERSION

kube-node1        NotReady   <none>   9h    v1.15.5

kube-node2        NotReady   <none>   9h    v1.15.5

kube-k8s-master   Ready      master   9h    v1.15.5

[root@k8s-master ~]# kubectl describe nodes

Name:               kube-node1

Roles:              <none>

Labels:             beta.kubernetes.io/arch=amd64

                    beta.kubernetes.io/os=linux

                    kubernetes.io/arch=amd64

                    kubernetes.io/hostname=kube-node1

                    kubernetes.io/os=linux

Annotations:        kubeadm.alpha.kubernetes.io/cri-socket: /var/run/dockershim.sock

                    node.alpha.kubernetes.io/ttl: 0

                    volumes.kubernetes.io/controller-managed-attach-detach: true

CreationTimestamp:  Sat, 20 Mar 2021 12:17:50 +0900

Taints:             node.kubernetes.io/unreachable:NoExecute

                    node.kubernetes.io/unreachable:NoSchedule

Unschedulable:      false

Conditions:

  Type             Status  LastHeartbeatTime                 LastTransitionTime                Reason                       Message

  ----             ------  -----------------                 ------------------                ------                       -------

  MemoryPressure   False   Sat, 20 Mar 2021 21:43:21 +0900   Sat, 20 Mar 2021 21:43:21 +0900   KubeletHasSufficientMemory   kubelet has sufficient memory available

  DiskPressure     False   Sat, 20 Mar 2021 21:43:21 +0900   Sat, 20 Mar 2021 21:43:21 +0900   KubeletHasNoDiskPressure     kubelet has no disk pressure

  PIDPressure      False   Sat, 20 Mar 2021 21:43:21 +0900   Sat, 20 Mar 2021 21:43:21 +0900   KubeletHasSufficientPID      kubelet has sufficient PID available

  Ready            False   Sat, 20 Mar 2021 21:43:21 +0900   Sat, 20 Mar 2021 21:43:21 +0900   KubeletNotReady              runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized

Addresses:

  InternalIP:  192.168.219.31

  Hostname:    kube-node1

Capacity:

 cpu:                4

 ephemeral-storage:  143290Mi

 hugepages-1Gi:      0

 hugepages-2Mi:      0

 memory:             3871076Ki

 pods:               110

Allocatable:

 cpu:                4

 ephemeral-storage:  135225409313

 hugepages-1Gi:      0

 hugepages-2Mi:      0

 memory:             3768676Ki

 pods:               110

System Info:

 Machine ID:                 2ebd8453f96048a5840db1519d46e67f

 System UUID:                564DEC5B-F1B3-CEEC-FBF7-243FC01EEF43

 Boot ID:                    fa2eb861-03d1-4ff7-b145-34391b7b5f4c

 Kernel Version:             3.10.0-1160.21.1.el7.x86_64

 OS Image:                   CentOS Linux 7 (Core)

 Operating System:           linux

 Architecture:               amd64

 Container Runtime Version:  docker://18.6.2

 Kubelet Version:            v1.15.5

 Kube-Proxy Version:         v1.15.5

PodCIDR:                     20.96.1.0/24

Non-terminated Pods:         (3 in total)

  Namespace                  Name                           CPU Requests  CPU Limits  Memory Requests  Memory Limits  AGE

  ---------                  ----                           ------------  ----------  ---------------  -------------  ---

  kube-system                calico-node-2s5p7              250m (6%)     0 (0%)      0 (0%)           0 (0%)         9h

  kube-system                kube-flannel-ds-amd64-jn9mv    100m (2%)     100m (2%)   50Mi (1%)        50Mi (1%)      9h

  kube-system                kube-proxy-zmcg2               0 (0%)        0 (0%)      0 (0%)           0 (0%)         9h

Allocated resources:

  (Total limits may be over 100 percent, i.e., overcommitted.)

  Resource           Requests   Limits

  --------           --------   ------

  cpu                350m (8%)  100m (2%)

  memory             50Mi (1%)  50Mi (1%)

  ephemeral-storage  0 (0%)     0 (0%)

Events:

  Type    Reason                   Age                 From                 Message

  ----    ------                   ----                ----                 -------

  Normal  Starting                 9h                  kubelet, kube-node1  Starting kubelet.

  Normal  NodeHasSufficientMemory  9h (x2 over 9h)     kubelet, kube-node1  Node kube-node1 status is now: NodeHasSufficientMemory

  Normal  NodeHasNoDiskPressure    9h (x2 over 9h)     kubelet, kube-node1  Node kube-node1 status is now: NodeHasNoDiskPressure

  Normal  NodeHasSufficientPID     9h (x2 over 9h)     kubelet, kube-node1  Node kube-node1 status is now: NodeHasSufficientPID

  Normal  NodeAllocatableEnforced  9h                  kubelet, kube-node1  Updated Node Allocatable limit across pods

  Normal  Starting                 109s                kubelet, kube-node1  Starting kubelet.

  Normal  NodeAllocatableEnforced  108s                kubelet, kube-node1  Updated Node Allocatable limit across pods

  Normal  NodeHasNoDiskPressure    26s (x7 over 103s)  kubelet, kube-node1  Node kube-node1 status is now: NodeHasNoDiskPressure

  Normal  NodeHasSufficientMemory  12s (x8 over 103s)  kubelet, kube-node1  Node kube-node1 status is now: NodeHasSufficientMemory

  Normal  NodeHasSufficientPID     12s (x8 over 103s)  kubelet, kube-node1  Node kube-node1 status is now: NodeHasSufficientPID

Name:               kube-node2

Roles:              <none>

Labels:             beta.kubernetes.io/arch=amd64

                    beta.kubernetes.io/os=linux

                    kubernetes.io/arch=amd64

                    kubernetes.io/hostname=kube-node2

                    kubernetes.io/os=linux

Annotations:        kubeadm.alpha.kubernetes.io/cri-socket: /var/run/dockershim.sock

                    node.alpha.kubernetes.io/ttl: 0

                    volumes.kubernetes.io/controller-managed-attach-detach: true

CreationTimestamp:  Sat, 20 Mar 2021 12:18:32 +0900

Taints:             node.kubernetes.io/unreachable:NoExecute

                    node.kubernetes.io/unreachable:NoSchedule

Unschedulable:      false

Conditions:

  Type             Status    LastHeartbeatTime                 LastTransitionTime                Reason              Message

  ----             ------    -----------------                 ------------------                ------              -------

  MemoryPressure   Unknown   Sat, 20 Mar 2021 12:38:48 +0900   Sat, 20 Mar 2021 21:41:19 +0900   NodeStatusUnknown   Kubelet stopped posting node status.

  DiskPressure     Unknown   Sat, 20 Mar 2021 12:38:48 +0900   Sat, 20 Mar 2021 21:41:19 +0900   NodeStatusUnknown   Kubelet stopped posting node status.

  PIDPressure      Unknown   Sat, 20 Mar 2021 12:38:48 +0900   Sat, 20 Mar 2021 21:41:19 +0900   NodeStatusUnknown   Kubelet stopped posting node status.

  Ready            Unknown   Sat, 20 Mar 2021 12:38:48 +0900   Sat, 20 Mar 2021 21:41:19 +0900   NodeStatusUnknown   Kubelet stopped posting node status.

Addresses:

  InternalIP:  192.168.219.32

  Hostname:    kube-node2

Capacity:

 cpu:                4

 ephemeral-storage:  143290Mi

 hugepages-1Gi:      0

 hugepages-2Mi:      0

 memory:             1005424Ki

 pods:               110

Allocatable:

 cpu:                4

 ephemeral-storage:  135225409313

 hugepages-1Gi:      0

 hugepages-2Mi:      0

 memory:             903024Ki

 pods:               110

System Info:

 Machine ID:                 2ebd8453f96048a5840db1519d46e67f

 System UUID:                564D38BB-B7F1-B78C-B746-342431B15C89

 Boot ID:                    39f21a4a-6663-4825-8ce4-cc4ed3cd19fe

 Kernel Version:             3.10.0-1160.21.1.el7.x86_64

 OS Image:                   CentOS Linux 7 (Core)

 Operating System:           linux

 Architecture:               amd64

 Container Runtime Version:  docker://18.6.2

 Kubelet Version:            v1.15.5

 Kube-Proxy Version:         v1.15.5

PodCIDR:                     20.96.2.0/24

Non-terminated Pods:         (3 in total)

  Namespace                  Name                           CPU Requests  CPU Limits  Memory Requests  Memory Limits  AGE

  ---------                  ----                           ------------  ----------  ---------------  -------------  ---

  kube-system                calico-node-gvx97              250m (6%)     0 (0%)      0 (0%)           0 (0%)         9h

  kube-system                kube-flannel-ds-amd64-krrs5    100m (2%)     100m (2%)   50Mi (5%)        50Mi (5%)      9h

  kube-system                kube-proxy-4tkzg               0 (0%)        0 (0%)      0 (0%)           0 (0%)         9h

Allocated resources:

  (Total limits may be over 100 percent, i.e., overcommitted.)

  Resource           Requests   Limits

  --------           --------   ------

  cpu                350m (8%)  100m (2%)

  memory             50Mi (5%)  50Mi (5%)

  ephemeral-storage  0 (0%)     0 (0%)

Events:

  Type    Reason                   Age                From                 Message

  ----    ------                   ----               ----                 -------

  Normal  Starting                 9h                 kubelet, kube-node2  Starting kubelet.

  Normal  NodeHasSufficientMemory  9h (x2 over 9h)    kubelet, kube-node2  Node kube-node2 status is now: NodeHasSufficientMemory

  Normal  NodeHasNoDiskPressure    9h (x2 over 9h)    kubelet, kube-node2  Node kube-node2 status is now: NodeHasNoDiskPressure

  Normal  NodeHasSufficientPID     9h (x2 over 9h)    kubelet, kube-node2  Node kube-node2 status is now: NodeHasSufficientPID

  Normal  NodeAllocatableEnforced  9h                 kubelet, kube-node2  Updated Node Allocatable limit across pods

  Normal  Starting                 75s                kubelet, kube-node2  Starting kubelet.

  Normal  NodeAllocatableEnforced  70s                kubelet, kube-node2  Updated Node Allocatable limit across pods

  Normal  NodeHasSufficientPID     35s (x7 over 70s)  kubelet, kube-node2  Node kube-node2 status is now: NodeHasSufficientPID

  Normal  NodeHasSufficientMemory  25s (x8 over 70s)  kubelet, kube-node2  Node kube-node2 status is now: NodeHasSufficientMemory

  Normal  NodeHasNoDiskPressure    25s (x8 over 70s)  kubelet, kube-node2  Node kube-node2 status is now: NodeHasNoDiskPressure

Name:               kube-k8s-master

Roles:              master

Labels:             beta.kubernetes.io/arch=amd64

                    beta.kubernetes.io/os=linux

                    kubernetes.io/arch=amd64

                    kubernetes.io/hostname=kube-k8s-master

                    kubernetes.io/os=linux

                    node-role.kubernetes.io/master=

Annotations:        flannel.alpha.coreos.com/backend-data: {"VtepMAC":"06:83:6c:f1:15:27"}

                    flannel.alpha.coreos.com/backend-type: vxlan

                    flannel.alpha.coreos.com/kube-subnet-manager: true

                    flannel.alpha.coreos.com/public-ip: 192.168.219.30

                    kubeadm.alpha.kubernetes.io/cri-socket: /var/run/dockershim.sock

                    node.alpha.kubernetes.io/ttl: 0

                    projectcalico.org/IPv4Address: 192.168.219.30/24

                    projectcalico.org/IPv4IPIPTunnelAddr: 20.111.43.128

                    volumes.kubernetes.io/controller-managed-attach-detach: true

CreationTimestamp:  Sat, 20 Mar 2021 12:14:55 +0900

Taints:             node-role.kubernetes.io/master:NoSchedule

Unschedulable:      false

Conditions:

  Type                 Status  LastHeartbeatTime                 LastTransitionTime                Reason                       Message

  ----                 ------  -----------------                 ------------------                ------                       -------

  NetworkUnavailable   False   Sat, 20 Mar 2021 21:40:46 +0900   Sat, 20 Mar 2021 21:40:46 +0900   CalicoIsUp                   Calico is running on this node

  MemoryPressure       False   Sat, 20 Mar 2021 21:41:05 +0900   Sat, 20 Mar 2021 12:14:50 +0900   KubeletHasSufficientMemory   kubelet has sufficient memory available

  DiskPressure         False   Sat, 20 Mar 2021 21:41:05 +0900   Sat, 20 Mar 2021 12:14:50 +0900   KubeletHasNoDiskPressure     kubelet has no disk pressure

  PIDPressure          False   Sat, 20 Mar 2021 21:41:05 +0900   Sat, 20 Mar 2021 12:14:50 +0900   KubeletHasSufficientPID      kubelet has sufficient PID available

  Ready                True    Sat, 20 Mar 2021 21:41:05 +0900   Sat, 20 Mar 2021 12:19:51 +0900   KubeletReady                 kubelet is posting ready status

Addresses:

  InternalIP:  192.168.219.30

  Hostname:    kube-k8s-master

Capacity:

 cpu:                4

 ephemeral-storage:  143290Mi

 hugepages-1Gi:      0

 hugepages-2Mi:      0

 memory:             3871076Ki

 pods:               110

Allocatable:

 cpu:                4

 ephemeral-storage:  135225409313

 hugepages-1Gi:      0

 hugepages-2Mi:      0

 memory:             3768676Ki

 pods:               110

System Info:

 Machine ID:                 2ebd8453f96048a5840db1519d46e67f

 System UUID:                564D2B7C-152E-2C45-ED13-7E4511AE0715

 Boot ID:                    cd94ed09-339c-4658-b8a6-6867c7e21383

 Kernel Version:             3.10.0-1160.21.1.el7.x86_64

 OS Image:                   CentOS Linux 7 (Core)

 Operating System:           linux

 Architecture:               amd64

 Container Runtime Version:  docker://18.6.2

 Kubelet Version:            v1.15.5

 Kube-Proxy Version:         v1.15.5

PodCIDR:                     20.96.0.0/24

Non-terminated Pods:         (11 in total)

  Namespace                  Name                                        CPU Requests  CPU Limits  Memory Requests  Memory Limits  AGE

  ---------                  ----                                        ------------  ----------  ---------------  -------------  ---

  kube-system                calico-kube-controllers-75dbcbbf8b-dzjpk    0 (0%)        0 (0%)      0 (0%)           0 (0%)         9h

  kube-system                calico-node-r8spj                           250m (6%)     0 (0%)      0 (0%)           0 (0%)         9h

  kube-system                coredns-5c98db65d4-bds6q                    100m (2%)     0 (0%)      70Mi (1%)        170Mi (4%)     9h

  kube-system                coredns-5c98db65d4-xctg9                    100m (2%)     0 (0%)      70Mi (1%)        170Mi (4%)     9h

  kube-system                etcd-kube-k8s-master                        0 (0%)        0 (0%)      0 (0%)           0 (0%)         9h

  kube-system                kube-apiserver-kube-k8s-master              250m (6%)     0 (0%)      0 (0%)           0 (0%)         9h

  kube-system                kube-controller-manager-kube-k8s-master     200m (5%)     0 (0%)      0 (0%)           0 (0%)         9h

  kube-system                kube-flannel-ds-amd64-qnns4                 100m (2%)     100m (2%)   50Mi (1%)        50Mi (1%)      9h

  kube-system                kube-proxy-67wfp                            0 (0%)        0 (0%)      0 (0%)           0 (0%)         9h

  kube-system                kube-scheduler-kube-k8s-master              100m (2%)     0 (0%)      0 (0%)           0 (0%)         9h

  kube-system                kubernetes-dashboard-6b8c96cf8c-5jvch       0 (0%)        0 (0%)      0 (0%)           0 (0%)         9h

Allocated resources:

  (Total limits may be over 100 percent, i.e., overcommitted.)

  Resource           Requests     Limits

  --------           --------     ------

  cpu                1100m (27%)  100m (2%)

  memory             190Mi (5%)   390Mi (10%)

  ephemeral-storage  0 (0%)       0 (0%)

Events:

  Type    Reason                   Age                    From                         Message

  ----    ------                   ----                   ----                         -------

  Normal  NodeHasSufficientMemory  9h (x8 over 9h)        kubelet, kube-k8s-master     Node kube-k8s-master status is now: NodeHasSufficientMemory

  Normal  NodeHasNoDiskPressure    9h (x8 over 9h)        kubelet, kube-k8s-master     Node kube-k8s-master status is now: NodeHasNoDiskPressure

  Normal  NodeHasSufficientPID     9h (x7 over 9h)        kubelet, kube-k8s-master     Node kube-k8s-master status is now: NodeHasSufficientPID

  Normal  Starting                 9h                     kube-proxy, kube-k8s-master  Starting kube-proxy.

  Normal  NodeReady                9h                     kubelet, kube-k8s-master     Node kube-k8s-master status is now: NodeReady

  Normal  Starting                 3m47s                  kubelet, kube-k8s-master     Starting kubelet.

  Normal  NodeAllocatableEnforced  3m46s                  kubelet, kube-k8s-master     Updated Node Allocatable limit across pods

  Normal  NodeHasSufficientMemory  3m45s (x8 over 3m46s)  kubelet, kube-k8s-master     Node kube-k8s-master status is now: NodeHasSufficientMemory

  Normal  NodeHasNoDiskPressure    3m45s (x8 over 3m46s)  kubelet, kube-k8s-master     Node kube-k8s-master status is now: NodeHasNoDiskPressure

  Normal  NodeHasSufficientPID     3m45s (x7 over 3m46s)  kubelet, kube-k8s-master     Node kube-k8s-master status is now: NodeHasSufficientPID

  Normal  Starting                 3m1s                   kube-proxy, kube-k8s-master  Starting kube-proxy.

[root@k8s-master ~]#

네 wifi 잡은 pc ip는 192 168 219 107입니다

마스터와 노드에서 서로 핑 , ftp등 접속이 가능합니다!  

마스터 192 168 219 30

노드1  192 168 219 31

노드2 192 168 219 32입니다

안녕하세요.

네 쿠버네티스 설치가 가장 어렵습니다

플라넬과 칼리코 둘다 설치할필요는 없습니다.

현재 둘다 설치하셨네요 

근데 node가 notready라master에는 잘 설치됬는데 node 정상적으로 설치되지 않은 상태고요.

 node의 상태가 ready가되면 정상적으로 설치됩니다.

그래서 왜 node의 상태가 왜 notready인지 원인을 찾아야되요.

보통 네트워크 통신상태가 문제인 경우가 많은데

192.168.219.30으로 master의 ip를 잡으셨네요.

가이드를 따라하되 ip설정은 자신의 네트워크 대역에 따라 변경해줘야하는 부분입니다

현재 집 네트워크 대역이 192.168.219.1 대역인가요?

보통 iptime을 사용한다면 192.168.0.1이고 이럴경우 192.168.0.30으로 세팅해야합니다

만약 맞다면 node1에 접속해서 master로 ping 192.168.219.30을 하면 정상적으로 통신이 되나요?