কর্মী CSINodeIfo ব্যর্থ হতে শুরু করুন: CSINode টীকা আপডেট করার সময় ত্রুটি


10

আমি 2 মাস আগে একটি কুবেরনেটস ক্লাস্টার 1 মাস্টার এবং 2 কর্মী নোড তৈরি করেছি, আজ একজন শ্রমিক নোড ব্যর্থ হতে শুরু করেছে এবং কেন জানি না। আমি মনে করি আমার কর্মীর সাথে অস্বাভাবিক কিছুই ঘটেনি।

ক্লাস্টারটি তৈরি করতে আমি ফ্লানেল এবং কুবাএডএম ব্যবহার করেছি এবং এটি খুব ভালভাবে কাজ করছে।

যদি আমি নোডটি বর্ণনা করি:

tommy@bxybackend:~$ kubectl describe node bxybackend-node01
Name:               bxybackend-node01
Roles:              <none>
Labels:             beta.kubernetes.io/arch=amd64
                    beta.kubernetes.io/os=linux
                    kubernetes.io/arch=amd64
                    kubernetes.io/hostname=bxybackend-node01
                    kubernetes.io/os=linux
Annotations:        flannel.alpha.coreos.com/backend-data: {"VtepMAC":"06:ca:97:82:50:10"}
                    flannel.alpha.coreos.com/backend-type: vxlan
                    flannel.alpha.coreos.com/kube-subnet-manager: true
                    flannel.alpha.coreos.com/public-ip: 10.168.10.4
                    kubeadm.alpha.kubernetes.io/cri-socket: /var/run/dockershim.sock
                    node.alpha.kubernetes.io/ttl: 0
                    volumes.kubernetes.io/controller-managed-attach-detach: true
CreationTimestamp:  Sun, 03 Nov 2019 09:41:48 -0600
Taints:             node.kubernetes.io/not-ready:NoExecute
                    node.kubernetes.io/not-ready:NoSchedule
Unschedulable:      false
Conditions:
  Type             Status  LastHeartbeatTime                 LastTransitionTime                Reason                       Message
  ----             ------  -----------------                 ------------------                ------                       -------
  MemoryPressure   False   Wed, 11 Dec 2019 11:17:05 -0600   Wed, 11 Dec 2019 10:37:19 -0600   KubeletHasSufficientMemory   kubelet has sufficient memory available
  DiskPressure     False   Wed, 11 Dec 2019 11:17:05 -0600   Wed, 11 Dec 2019 10:37:19 -0600   KubeletHasNoDiskPressure     kubelet has no disk pressure
  PIDPressure      False   Wed, 11 Dec 2019 11:17:05 -0600   Wed, 11 Dec 2019 10:37:19 -0600   KubeletHasSufficientPID      kubelet has sufficient PID available
  Ready            False   Wed, 11 Dec 2019 11:17:05 -0600   Wed, 11 Dec 2019 10:37:19 -0600   KubeletNotReady              Failed to initialize CSINodeInfo: error updating CSINode annotation: timed out waiting for the condition; caused by: the server could not find the requested resource
Addresses:
  InternalIP:  10.168.10.4
  Hostname:    bxybackend-node01
Capacity:
 cpu:                12
 ephemeral-storage:  102684600Ki
 hugepages-1Gi:      0
 hugepages-2Mi:      0
 memory:             14359964Ki
 pods:               110
Allocatable:
 cpu:                12
 ephemeral-storage:  94634127204
 hugepages-1Gi:      0
 hugepages-2Mi:      0
 memory:             14257564Ki
 pods:               110
System Info:
 Machine ID:                 3afa24bb05994ceaaf00e7f22b9322ab
 System UUID:                80951742-F69F-6487-F2F7-BE2FB7FEFBF8
 Boot ID:                    115fbacc-143d-4007-90e4-7fdcb5462680
 Kernel Version:             4.15.0-72-generic
 OS Image:                   Ubuntu 18.04.3 LTS
 Operating System:           linux
 Architecture:               amd64
 Container Runtime Version:  docker://18.9.7
 Kubelet Version:            v1.17.0
 Kube-Proxy Version:         v1.17.0
PodCIDR:                     10.244.1.0/24
PodCIDRs:                    10.244.1.0/24
Non-terminated Pods:         (2 in total)
  Namespace                  Name                           CPU Requests  CPU Limits  Memory Requests  Memory Limits  AGE
  ---------                  ----                           ------------  ----------  ---------------  -------------  ---
  kube-system                kube-flannel-ds-amd64-sslbg    100m (0%)     100m (0%)   50Mi (0%)        50Mi (0%)      8m31s
  kube-system                kube-proxy-c5gxc               0 (0%)        0 (0%)      0 (0%)           0 (0%)         8m52s
Allocated resources:
  (Total limits may be over 100 percent, i.e., overcommitted.)
  Resource           Requests   Limits
  --------           --------   ------
  cpu                100m (0%)  100m (0%)
  memory             50Mi (0%)  50Mi (0%)
  ephemeral-storage  0 (0%)     0 (0%)
Events:
  Type     Reason                   Age                  From                           Message
  ----     ------                   ----                 ----                           -------
  Warning  SystemOOM                52m                  kubelet, bxybackend-node01     System OOM encountered, victim process: dotnet, pid: 12170
  Normal   NodeHasNoDiskPressure    52m (x12 over 38d)   kubelet, bxybackend-node01     Node bxybackend-node01 status is now: NodeHasNoDiskPressure
  Normal   NodeHasSufficientPID     52m (x12 over 38d)   kubelet, bxybackend-node01     Node bxybackend-node01 status is now: NodeHasSufficientPID
  Normal   NodeNotReady             52m (x6 over 23d)    kubelet, bxybackend-node01     Node bxybackend-node01 status is now: NodeNotReady
  Normal   NodeHasSufficientMemory  52m (x12 over 38d)   kubelet, bxybackend-node01     Node bxybackend-node01 status is now: NodeHasSufficientMemory
  Warning  ContainerGCFailed        52m (x3 over 6d23h)  kubelet, bxybackend-node01     rpc error: code = DeadlineExceeded desc = context deadline exceeded
  Normal   NodeReady                52m (x13 over 38d)   kubelet, bxybackend-node01     Node bxybackend-node01 status is now: NodeReady
  Normal   NodeAllocatableEnforced  43m                  kubelet, bxybackend-node01     Updated Node Allocatable limit across pods
  Warning  SystemOOM                43m                  kubelet, bxybackend-node01     System OOM encountered, victim process: dotnet, pid: 9699
  Warning  SystemOOM                43m                  kubelet, bxybackend-node01     System OOM encountered, victim process: dotnet, pid: 12639
  Warning  SystemOOM                43m                  kubelet, bxybackend-node01     System OOM encountered, victim process: dotnet, pid: 16194
  Warning  SystemOOM                43m                  kubelet, bxybackend-node01     System OOM encountered, victim process: dotnet, pid: 19618
  Warning  SystemOOM                43m                  kubelet, bxybackend-node01     System OOM encountered, victim process: dotnet, pid: 12170
  Normal   Starting                 43m                  kubelet, bxybackend-node01     Starting kubelet.
  Normal   NodeHasSufficientMemory  43m (x2 over 43m)    kubelet, bxybackend-node01     Node bxybackend-node01 status is now: NodeHasSufficientMemory
  Normal   NodeHasSufficientPID     43m (x2 over 43m)    kubelet, bxybackend-node01     Node bxybackend-node01 status is now: NodeHasSufficientPID
  Normal   NodeNotReady             43m                  kubelet, bxybackend-node01     Node bxybackend-node01 status is now: NodeNotReady
  Normal   NodeHasNoDiskPressure    43m (x2 over 43m)    kubelet, bxybackend-node01     Node bxybackend-node01 status is now: NodeHasNoDiskPressure
  Normal   Starting                 42m                  kubelet, bxybackend-node01     Starting kubelet.

যদি আমি কর্মীর মধ্যে সিসলগ দেখি:

Dec 11 11:20:10 bxybackend-node01 kubelet[19331]: I1211 11:20:10.552152   19331 kuberuntime_manager.go:981] updating runtime config through cri with podcidr 10.244.1.0/24
Dec 11 11:20:10 bxybackend-node01 kubelet[19331]: I1211 11:20:10.552162   19331 kubelet_node_status.go:294] Setting node annotation to enable volume controller attach/detach
Dec 11 11:20:10 bxybackend-node01 kubelet[19331]: I1211 11:20:10.552352   19331 docker_service.go:355] docker cri received runtime config &RuntimeConfig{NetworkConfig:&NetworkConfig{PodCidr:10.244.1.0/24,},}
Dec 11 11:20:10 bxybackend-node01 kubelet[19331]: I1211 11:20:10.552600   19331 kubelet_network.go:77] Setting Pod CIDR:  -> 10.244.1.0/24
Dec 11 11:20:10 bxybackend-node01 kubelet[19331]: I1211 11:20:10.555142   19331 kubelet_node_status.go:70] Attempting to register node bxybackend-node01
Dec 11 11:20:10 bxybackend-node01 kubelet[19331]: I1211 11:20:10.652843   19331 reconciler.go:209] operationExecutor.VerifyControllerAttachedVolume started for volume "kube-proxy" (UniqueName: "kubernetes.io/configmap/d6b534db-c32c-491b-a665-cf1ccd6cd089-kube-proxy") pod "kube-proxy-c5gxc" (UID: "d6b534db-c32c-491b-a665-cf1ccd6cd089")
Dec 11 11:20:10 bxybackend-node01 kubelet[19331]: I1211 11:20:10.753179   19331 reconciler.go:209] operationExecutor.VerifyControllerAttachedVolume started for volume "xtables-lock" (UniqueName: "kubernetes.io/host-path/d6b534db-c32c-491b-a665-cf1ccd6cd089-xtables-lock") pod "kube-proxy-c5gxc" (UID: "d6b534db-c32c-491b-a665-cf1ccd6cd089")
Dec 11 11:20:10 bxybackend-node01 kubelet[19331]: I1211 11:20:10.753249   19331 reconciler.go:209] operationExecutor.VerifyControllerAttachedVolume started for volume "lib-modules" (UniqueName: "kubernetes.io/host-path/d6b534db-c32c-491b-a665-cf1ccd6cd089-lib-modules") pod "kube-proxy-c5gxc" (UID: "d6b534db-c32c-491b-a665-cf1ccd6cd089")
Dec 11 11:20:10 bxybackend-node01 kubelet[19331]: I1211 11:20:10.753285   19331 reconciler.go:209] operationExecutor.VerifyControllerAttachedVolume started for volume "kube-proxy-token-ztrh4" (UniqueName: "kubernetes.io/secret/d6b534db-c32c-491b-a665-cf1ccd6cd089-kube-proxy-token-ztrh4") pod "kube-proxy-c5gxc" (UID: "d6b534db-c32c-491b-a665-cf1ccd6cd089")
Dec 11 11:20:10 bxybackend-node01 kubelet[19331]: I1211 11:20:10.753316   19331 reconciler.go:209] operationExecutor.VerifyControllerAttachedVolume started for volume "run" (UniqueName: "kubernetes.io/host-path/6a2299cf-63a4-4e96-8b3b-acd373de12c2-run") pod "kube-flannel-ds-amd64-sslbg" (UID: "6a2299cf-63a4-4e96-8b3b-acd373de12c2")
Dec 11 11:20:10 bxybackend-node01 kubelet[19331]: I1211 11:20:10.753342   19331 reconciler.go:209] operationExecutor.VerifyControllerAttachedVolume started for volume "cni" (UniqueName: "kubernetes.io/host-path/6a2299cf-63a4-4e96-8b3b-acd373de12c2-cni") pod "kube-flannel-ds-amd64-sslbg" (UID: "6a2299cf-63a4-4e96-8b3b-acd373de12c2")
Dec 11 11:20:10 bxybackend-node01 kubelet[19331]: I1211 11:20:10.753461   19331 reconciler.go:209] operationExecutor.VerifyControllerAttachedVolume started for volume "flannel-cfg" (UniqueName: "kubernetes.io/configmap/6a2299cf-63a4-4e96-8b3b-acd373de12c2-flannel-cfg") pod "kube-flannel-ds-amd64-sslbg" (UID: "6a2299cf-63a4-4e96-8b3b-acd373de12c2")
Dec 11 11:20:10 bxybackend-node01 kubelet[19331]: I1211 11:20:10.753516   19331 reconciler.go:209] operationExecutor.VerifyControllerAttachedVolume started for volume "flannel-token-ts2qt" (UniqueName: "kubernetes.io/secret/6a2299cf-63a4-4e96-8b3b-acd373de12c2-flannel-token-ts2qt") pod "kube-flannel-ds-amd64-sslbg" (UID: "6a2299cf-63a4-4e96-8b3b-acd373de12c2")
Dec 11 11:20:10 bxybackend-node01 kubelet[19331]: I1211 11:20:10.753531   19331 reconciler.go:156] Reconciler: start to sync state
Dec 11 11:20:12 bxybackend-node01 kubelet[19331]: I1211 11:20:12.052813   19331 kubelet_node_status.go:112] Node bxybackend-node01 was previously registered
Dec 11 11:20:12 bxybackend-node01 kubelet[19331]: I1211 11:20:12.052921   19331 kubelet_node_status.go:73] Successfully registered node bxybackend-node01
Dec 11 11:20:13 bxybackend-node01 kubelet[19331]: E1211 11:20:13.051159   19331 csi_plugin.go:267] Failed to initialize CSINodeInfo: error updating CSINode annotation: timed out waiting for the condition; caused by: the server could not find the requested resource
Dec 11 11:20:16 bxybackend-node01 kubelet[19331]: E1211 11:20:16.051264   19331 csi_plugin.go:267] Failed to initialize CSINodeInfo: error updating CSINode annotation: timed out waiting for the condition; caused by: the server could not find the requested resource
Dec 11 11:20:18 bxybackend-node01 kubelet[19331]: E1211 11:20:18.451166   19331 csi_plugin.go:267] Failed to initialize CSINodeInfo: error updating CSINode annotation: timed out waiting for the condition; caused by: the server could not find the requested resource
Dec 11 11:20:21 bxybackend-node01 kubelet[19331]: E1211 11:20:21.251289   19331 csi_plugin.go:267] Failed to initialize CSINodeInfo: error updating CSINode annotation: timed out waiting for the condition; caused by: the server could not find the requested resource
Dec 11 11:20:25 bxybackend-node01 kubelet[19331]: E1211 11:20:25.019276   19331 csi_plugin.go:267] Failed to initialize CSINodeInfo: error updating CSINode annotation: timed out waiting for the condition; caused by: the server could not find the requested resource
Dec 11 11:20:46 bxybackend-node01 kubelet[19331]: E1211 11:20:46.772862   19331 csi_plugin.go:267] Failed to initialize CSINodeInfo: error updating CSINode annotation: timed out waiting for the condition; caused by: the server could not find the requested resource
Dec 11 11:20:46 bxybackend-node01 kubelet[19331]: F1211 11:20:46.772895   19331 csi_plugin.go:281] Failed to initialize CSINodeInfo after retrying
Dec 11 11:20:46 bxybackend-node01 systemd[1]: kubelet.service: Main process exited, code=exited, status=255/n/a
Dec 11 11:20:46 bxybackend-node01 systemd[1]: kubelet.service: Failed with result 'exit-code'.

আমি কেবল দেখতে পাচ্ছি যে সমস্যা নোড অন্য সংস্করণে রয়েছে NAME STATUS RoleS AGE VERION Bxybackend রেডি মাস্টার 38 ডি v1.16.2 bxybackend-node01 NotReady <নন> 38 ডি v1.17.0 বিসিবিব্যাকেন্ড-নোড 02 রেডি <নোনে> 38 ডি ভি 1.16.2
টমি

উত্তর:


11

আপনার কুবাএডএম ইনস্টল করার সময় আপনার নীচের কমান্ডটি কুবেলেট, কুবাডেম এবং কুবেটেল প্যাকেজ ধরে রাখতে হবে এবং ভুলক্রমে তাদের আপগ্রেড হতে আটকাবে।

$ sudo apt-mark hold kubelet kubeadm kubectl

আমি আপনার দৃশ্যের পুনরুত্পাদন করেছি এবং আপনার ক্লাস্টারে যা ঘটেছিল তা হ'ল 3 দিন আগে কুবেরনেটসের একটি নতুন সংস্করণ প্রকাশিত হয়েছিল (বনাম 1.17.0) এবং আপনার কুবলিট দুর্ঘটনাক্রমে আপগ্রেড হয়েছে।

নতুন কুবারনেটসে সিএসআইতে যেখানে কিছু পরিবর্তন হয়েছে সে কারণেই আপনার এই নোডে কিছু সমস্যা রয়েছে।

আমি আপনাকে এই নোডটি নিষ্কাশন করার পরামর্শ দিচ্ছি, কুবেরনেটস ১.১16.২ এর সাথে একটি নতুন সেটআপ করুন এবং নতুনকে আপনার ক্লাস্টারে যুক্ত করুন।

এই নোডটি নিকাশ করতে আপনার চালানো দরকার:

$ kubectl drain bxybackend-node01 --delete-local-data --force --ignore-daemonsets

Ptionচ্ছিকভাবে আপনি নিম্নলিখিত কমান্ডটি ব্যবহার করে আপনার কুবলেটটিকে পূর্ববর্তী সংস্করণে ডাউনগ্রেড করতে পারেন:

$ sudo apt-get install kubelet=1.16.2-00

আপনার কুবলিটটিকে আবারও আপগ্রেড করা থেকে বিরত রাখতে চিহ্নিত করতে ভুলবেন না:

$ sudo apt-mark hold kubelet

আপনি apt-mark showholdসমস্ত আটকানো প্যাকেজ তালিকাভুক্ত করতে এবং কুবেলেট, কুবেডম এবং কুবেটেল হোল্ড রয়েছে তা নিশ্চিত করতে কমান্ডটি ব্যবহার করতে পারেন ।

1.16.x থেকে আপগ্রেড করার জন্য এটিকে অনুসরণ করে 1.17.x করার নির্দেশিকা Kubernetes নথিপত্র থেকে। আমি এটিকে বৈধতা দিয়েছি এবং এটি যেমন ইচ্ছা তেমন কাজ করে।


আমি একই সমস্যার মধ্যে চলেছি যেখানে দেখে মনে হচ্ছে কুবেরনেটগুলি স্বয়ংক্রিয়ভাবে 1.17.0 এ আপডেট হয়েছিল। আমার কোনও নোডই মাস্টার সহ প্রস্তুত রিপোর্ট করছে না। আপনি কি 1.16.2 এ ফিরে যাওয়ার পরামর্শ দিচ্ছেন?
কোড জঙ্কি

1
পরীক্ষার পরিবেশে সার্ভারগুলির একটি নিয়মিত প্যাচিংয়ের পরে একই সমস্যার মুখোমুখি।
ভেশে গুরুং

1
1.16.4 তে ফিরে কাজ করা, কীভাবে 1.17 এ যেতে হবে সে সম্পর্কে কোনও সুপারিশ আছে?
কোড জানকি

2
@ কোডে জাঙ্কি আমি কীভাবে 1.17 এ আপগ্রেড করব সে সম্পর্কে তথ্য যুক্ত করেছি।
এমওয়াটনি

2
ধন্যবাদ, আমি গতকাল একই গাইডটি অনুসরণ করেছি এবং সাফল্যের সাথে আপডেট করতে সক্ষম হয়েছি। প্যাচিংয়ের সময় এই আপডেটগুলি স্বয়ংক্রিয়ভাবে পরিচালনা করার জন্য স্ক্রিপ্টগুলি তৈরি করার কী আছে?
কোড জ্যাঙ্কি

0

আমি আজ সেন্টো লিনাক্স release.7.১৯০৮ রিলিজেও একই সমস্যার মুখোমুখি হয়েছি। আমার কুবেরনেটস সংস্করণটি ছিল v1.16.3 এবং আমি "yum আপডেট" কমান্ড কার্যকর করেছি এবং কুবেরনেটস সংস্করণটি v1.17.0 এ আপগ্রেড করা হয়েছে। এর পরে আমি "ইয়াম ইতিহাস" "না" পূর্বাবস্থায় ফিরিয়েছিলাম এবং তারপরে আবার পুরানো কুবারনেট সংস্করণে ফিরে আসি এবং এটি আবার কাজ করা শুরু হয়েছিল After এর পরে আমি অফিসিয়াল আপগ্রেড পদ্ধতি অনুসরণ করেছি এবং এখন কুবারনেটস v1.17.0 কোনও সমস্যা ছাড়াই সূক্ষ্মভাবে কাজ করছে।

root@kube-master1:/root>kubectl get no -o wide
NAME           STATUS   ROLES    AGE    VERSION   INTERNAL-IP       EXTERNAL-IP   OS-IMAGE                KERNEL-VERSION               CONTAINER-RUNTIME
kube-master1   Ready    master   7d9h   v1.17.0   192.168.159.135   <none>        CentOS Linux 7 (Core)   3.10.0-1062.9.1.el7.x86_64   docker://1.13.1
kube-worker1   Ready    worker   7d9h   v1.17.0   192.168.159.136   <none>        CentOS Linux 7 (Core)   3.10.0-1062.9.1.el7.x86_64   docker://1.13.1
kube-worker2   Ready    worker   7d9h   v1.17.0   192.168.159.137   <none>        CentOS Linux 7 (Core)   3.10.0-1062.9.1.el7.x86_64   docker://1.13.1
root@kube-master1:/root>

আপনার পোস্টের জন্য আপনাকে ধন্যবাদ! আপনি যদি একটি লিঙ্ক পোস্ট করতে পারেন তবে এটি দুর্দান্ত হবে official upgrade method!
চিহ্নিত করুন

@ মার্ক, আমার পোস্টে আপনি থিসিয়াল ডকুমেন্টেশনের এই লিঙ্কটি খুঁজে পেতে পারেন যেখানে এটি উবুন্টু, ডেবিয়ান, হাইপ্রিয়টোস, সেন্টোস, আরএইচএল বা ফেডোরায় কীভাবে করা যায় তা বর্ণনা করা হয়েছে।
এমওয়াটনি
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.