Giới thiệu

Xin chào các bạn. Qua bài tổng quan về K8S và hướng dẫn cài lab k8s thì cơ bản chúng ta đã hoàn thành xong phần khởi động rồi.
Từ bài này trở đi mình sẽ giới thiệu với các bạn làm quen với các tài nguyên trên k8s và các thao tác với chúng (tạo – sửa – xóa ..).

Trong bài này mình sẽ hướng dẫn mọi người một số thao tác cơ bản với node trên k8s. Lưu ý là hầu hết mọi thao tác của chúng ta đều thực hiện qua lệnh kubectl.

Đến đây thì các bạn chắc cũng đã nhớ chức năng của master node và worker node rồi. Trong quá trình triển khai và vận hành ứng dụng lên k8s thì thường các bạn chỉ chủ yếu làm việc với phần Worker Node thôi, vì nó là node chạy chính các workload của chúng ta. Còn thành phần điều khiển (master node) thì ít khi phải động tới (trừ khi có lỗi gì đó của k8s )

Mục tiêu

Qua bài này, các bạn sẽ hiểu và thực hiện được các tác vụ:

• Kiểm tra danh sách và thông tin node trên k8s
• Kiểm tra work load của node
• Các thao tác với label: Xem, gán, xóa label cho node
• Thủ tục thêm/xóa node khỏi cluster

Kiểm tra thông tin của node

Danh sách node

Thao tác đầu tiên và cơ bản nhất với node đó là liệt kê danh sách node của cluster bằng lệnh:

kubectl get nodes

Kết quả trả về là một số thông tin cơ bản:

NAME             STATUS   ROLES                  AGE   VERSION
viettq-master1   Ready    control-plane,master   15d   v1.20.7
viettq-master2   Ready    control-plane,master   15d   v1.20.7
viettq-master3   Ready    control-plane,master   15d   v1.20.7
viettq-worker1   Ready    <none>                 15d   v1.20.7
viettq-worker2   Ready    <none>                 15d   v1.20.7
viettq-worker3   Ready    <none>                 15d   v1.20.7

Trong đó:

• NAME: Là định danh node trong cluster
• STATUS: Trạng thái quản lý của node.
• ROLES: Vai trò của node trong cluster. Như bên trên ta thấy rõ 3 node là role master, 3 node còn lại là woker node (role=none)
• AGE: Thời gian từ lúc setup hệ thống đến giờ
• VERSION: Phiên bản của k8s đang cài đặt

Các bạn cũng có thể xem thêm nhiều thông tin hơn về node bằng cách thêm chỉ định “-owide” vào sau câu lệnh bên trên:

[sysadmin@vtq-cicd ~]$ kubectl get nodes -owide
NAME             STATUS   ROLES                  AGE   VERSION   INTERNAL-IP     EXTERNAL-IP   OS-IMAGE                KERNEL-VERSION                CONTAINER-RUNTIME
viettq-master1   Ready    control-plane,master   15d   v1.20.7   192.168.10.11   <none>        CentOS Linux 7 (Core)   3.10.0-1160.45.1.el7.x86_64   docker://20.10.10
viettq-master2   Ready    control-plane,master   15d   v1.20.7   192.168.10.12   <none>        CentOS Linux 7 (Core)   3.10.0-1160.45.1.el7.x86_64   docker://20.10.10
viettq-master3   Ready    control-plane,master   15d   v1.20.7   192.168.10.13   <none>        CentOS Linux 7 (Core)   3.10.0-1160.45.1.el7.x86_64   docker://20.10.10
viettq-worker1   Ready    <none>                 15d   v1.20.7   192.168.10.14   <none>        CentOS Linux 7 (Core)   3.10.0-1160.45.1.el7.x86_64   docker://20.10.10
viettq-worker2   Ready    <none>                 15d   v1.20.7   192.168.10.15   <none>        CentOS Linux 7 (Core)   3.10.0-1160.45.1.el7.x86_64   docker://20.10.10
viettq-worker3   Ready    <none>                 15d   v1.20.7   192.168.10.16   <none>        CentOS Linux 7 (Core)   3.10.0-1160.45.1.el7.x86_64   docker://20.10.10

Ta sẽ thấy thêm các trường thông tin, trong đó:

• INTERNAL-IP: Đây là IP mà các node sẽ dùng giao tiếp với nhau
• CONTAINER-RUNTIME: Thông tin về CRI đang sử dụng ở đây là Docker phiên bản 20.10.10

Thao tác với node bằng label

Khi làm việc với k8s thì hầu hết các resource trên k8s đều được gán các labels. Các lables này khá quan trọng, và rất tiện lợi trong việc quản lý tài nguyên.

Việc gán lables cho node giống như việc chúng ta tạo ra các nhóm Node có những đặc tính giống nhau để sau này chúng ta sẽ có kế hoạch deploy ứng dụng lên các nhóm node tương ứng cho phù hợp.

Để xem thông tin các label đang được gán cho node ta thực hiện lệnh sau:

kubectl get nodes --show-labels

Và kết quả:

NAME             STATUS   ROLES                  AGE   VERSION   LABELS
viettq-master1   Ready    control-plane,master   15d   v1.20.7   beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,kubernetes.io/arch=amd64,kubernetes.io/hostname=viettq-master1,kubernetes.io/os=linux,node-role.kubernetes.io/control-plane=,node-role.kubernetes.io/master=
viettq-master2   Ready    control-plane,master   15d   v1.20.7   beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,kubernetes.io/arch=amd64,kubernetes.io/hostname=viettq-master2,kubernetes.io/os=linux,node-role.kubernetes.io/control-plane=,node-role.kubernetes.io/master=
viettq-master3   Ready    control-plane,master   15d   v1.20.7   beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,kubernetes.io/arch=amd64,kubernetes.io/hostname=viettq-master3,kubernetes.io/os=linux,node-role.kubernetes.io/control-plane=,node-role.kubernetes.io/master=
viettq-worker1   Ready    <none>                 15d   v1.20.7   beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,kubernetes.io/arch=amd64,kubernetes.io/hostname=viettq-worker1,kubernetes.io/os=linux
viettq-worker2   Ready    <none>                 15d   v1.20.7   beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,kubernetes.io/arch=amd64,kubernetes.io/hostname=viettq-worker2,kubernetes.io/os=linux
viettq-worker3   Ready    <none>                 15d   v1.20.7   beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,kubernetes.io/arch=amd64,kubernetes.io/hostname=viettq-worker3,kubernetes.io/os=linux

Ta cũng có thể liệt kê danh sách node có gán một label nào đó bằng cú pháp: kubect get node -l “[label-name]:[value]”. Lưu ý [value] là optional, có thể gán label name mà không cần value.

Câu lệnh sau liệt kê danh sách các node có gán label là “node-role.kubernetes.io/master” mà không quan tâm value được gán là gì:

[sysadmin@vtq-cicd ~]$ kubectl get nodes -l "node-role.kubernetes.io/master"
NAME             STATUS   ROLES                  AGE   VERSION
viettq-master1   Ready    control-plane,master   15d   v1.20.7
viettq-master2   Ready    control-plane,master   15d   v1.20.7
viettq-master3   Ready    control-plane,master   15d   v1.20.7

Để gán thêm một label cho node thì ta thực hiện như sau: kubectl label node [node-name] “[label]=[value]”:

kubectl label nodes viettq-worker1 "type=worker"

Sau đó kiểm tra bằng cách liệt kê danh sách node theo labels:

[sysadmin@vtq-cicd ~]$ kubectl get nodes -l  "type=worker"
NAME             STATUS   ROLES    AGE   VERSION
viettq-worker1   Ready    <none>   15d   v1.20.7

Đã có gán label thì chắc chắc phải có cách để remove label rồi. Để xóa một label các bạn thực hiện như sau:

[sysadmin@vtq-cicd ~]$ kubectl label nodes viettq-worker1 type-
node/viettq-worker1 labeled

Và kết quả kiểm tra danh sách node theo label đó không còn:

[sysadmin@vtq-cicd ~]$ kubectl get nodes -l  "type=worker"
No resources found

Thông tin node

Để xem thông tin chi tiết của 1 node ta thực hiện theo cú pháp: kubect describe node [node-name]

kubectl describe node viettq-worker1

Kết quả:

Name:               viettq-worker1
Roles:              <none>
Labels:             beta.kubernetes.io/arch=amd64
                    beta.kubernetes.io/os=linux
                    kubernetes.io/arch=amd64
                    kubernetes.io/hostname=viettq-worker1
                    kubernetes.io/os=linux
Annotations:        flannel.alpha.coreos.com/backend-data: {"VtepMAC":"fe:08:be:bf:66:d7"}
                    flannel.alpha.coreos.com/backend-type: vxlan
                    flannel.alpha.coreos.com/kube-subnet-manager: true
                    flannel.alpha.coreos.com/public-ip: 192.168.10.14
                    kubeadm.alpha.kubernetes.io/cri-socket: /var/run/dockershim.sock
                    node.alpha.kubernetes.io/ttl: 0
                    volumes.kubernetes.io/controller-managed-attach-detach: true
CreationTimestamp:  Sun, 11 Sep 2022 23:26:11 -0400
Taints:             <none>
Unschedulable:      false
Lease:
  HolderIdentity:  viettq-worker1
  AcquireTime:     <unset>
  RenewTime:       Tue, 27 Sep 2022 04:32:07 -0400
Conditions:
  Type                 Status  LastHeartbeatTime                 LastTransitionTime                Reason                       Message
  ----                 ------  -----------------                 ------------------                ------                       -------
  NetworkUnavailable   False   Thu, 22 Sep 2022 06:18:23 -0400   Thu, 22 Sep 2022 06:18:23 -0400   FlannelIsUp                  Flannel is running on this node
  MemoryPressure       False   Tue, 27 Sep 2022 04:32:08 -0400   Sun, 11 Sep 2022 23:26:11 -0400   KubeletHasSufficientMemory   kubelet has sufficient memory available
  DiskPressure         False   Tue, 27 Sep 2022 04:32:08 -0400   Sun, 11 Sep 2022 23:26:11 -0400   KubeletHasNoDiskPressure     kubelet has no disk pressure
  PIDPressure          False   Tue, 27 Sep 2022 04:32:08 -0400   Sun, 11 Sep 2022 23:26:11 -0400   KubeletHasSufficientPID      kubelet has sufficient PID available
  Ready                True    Tue, 27 Sep 2022 04:32:08 -0400   Sun, 11 Sep 2022 23:26:42 -0400   KubeletReady                 kubelet is posting ready status
Addresses:
  InternalIP:  192.168.10.14
  Hostname:    viettq-worker1
Capacity:
  cpu:                12
  ephemeral-storage:  49250820Ki
  hugepages-1Gi:      0
  hugepages-2Mi:      0
  memory:             7990044Ki
  pods:               110
Allocatable:
  cpu:                11900m
  ephemeral-storage:  45389555637
  hugepages-1Gi:      0
  hugepages-2Mi:      0
  memory:             7625500Ki
  pods:               110
System Info:
  Machine ID:                 d8edd44e2e834dc39a04c19e8f8a27ea
  System UUID:                66094D56-3CCB-1B4C-7B0B-D9497945986B
  Boot ID:                    34783693-16cb-4e4e-8e13-a974d4923cb7
  Kernel Version:             3.10.0-1160.45.1.el7.x86_64
  OS Image:                   CentOS Linux 7 (Core)
  Operating System:           linux
  Architecture:               amd64
  Container Runtime Version:  docker://20.10.10
  Kubelet Version:            v1.20.7
  Kube-Proxy Version:         v1.20.7
PodCIDR:                      10.233.69.0/24
PodCIDRs:                     10.233.69.0/24
Non-terminated Pods:          (10 in total)
  Namespace                   Name                                                          CPU Requests  CPU Limits  Memory Requests  Memory Limits  AGE
  ---------                   ----                                                          ------------  ----------  ---------------  -------------  ---
  default                     debug                                                         0 (0%)        0 (0%)      0 (0%)           0 (0%)         22h
  default                     http-pod                                                      0 (0%)        0 (0%)      0 (0%)           0 (0%)         104m
  fleet-system                fleet-agent-55bfc495bd-48qrm                                  0 (0%)        0 (0%)      0 (0%)           0 (0%)         15d
  ingress                     apple-app                                                     0 (0%)        0 (0%)      0 (0%)           0 (0%)         14d
  kube-system                 kube-flannel-gfg9f                                            150m (1%)     300m (2%)   64M (0%)         500M (6%)      15d
  kube-system                 kube-proxy-gqrq6                                              0 (0%)        0 (0%)      0 (0%)           0 (0%)         4d22h
  kube-system                 nginx-proxy-viettq-worker1                                    25m (0%)      0 (0%)      32M (0%)         0 (0%)         15d
  kube-system                 nodelocaldns-2zxvj                                            100m (0%)     0 (0%)      70Mi (0%)        170Mi (2%)     15d
  storage                     nfs-storage-delete-nfs-client-provisioner-5b7c76bb6-w28cz     0 (0%)        0 (0%)      0 (0%)           0 (0%)         15d
  storage                     nfs-storage-retain-nfs-client-provisioner-5f8d88b89d-d8bqx    0 (0%)        0 (0%)      0 (0%)           0 (0%)         15d
Allocated resources:
  (Total limits may be over 100 percent, i.e., overcommitted.)
  Resource           Requests        Limits
  --------           --------        ------
  cpu                275m (2%)       300m (2%)
  memory             169400320 (2%)  678257920 (8%)
  ephemeral-storage  0 (0%)          0 (0%)
  hugepages-1Gi      0 (0%)          0 (0%)
  hugepages-2Mi      0 (0%)          0 (0%)
Events:              <none>

Trong số thông tin thu được có một số thông tin quan trọng liên quan tới trạng thái của node (Conditions):

Conditions:
  Type                 Status  LastHeartbeatTime                 LastTransitionTime                Reason                       Message
  ----                 ------  -----------------                 ------------------                ------                       -------
  NetworkUnavailable   False   Thu, 22 Sep 2022 06:18:23 -0400   Thu, 22 Sep 2022 06:18:23 -0400   FlannelIsUp                  Flannel is running on this node
  MemoryPressure       False   Tue, 27 Sep 2022 04:32:08 -0400   Sun, 11 Sep 2022 23:26:11 -0400   KubeletHasSufficientMemory   kubelet has sufficient memory available
  DiskPressure         False   Tue, 27 Sep 2022 04:32:08 -0400   Sun, 11 Sep 2022 23:26:11 -0400   KubeletHasNoDiskPressure     kubelet has no disk pressure
  PIDPressure          False   Tue, 27 Sep 2022 04:32:08 -0400   Sun, 11 Sep 2022 23:26:11 -0400   KubeletHasSufficientPID      kubelet has sufficient PID available
  Ready                True    Tue, 27 Sep 2022 04:32:08 -0400   Sun, 11 Sep 2022 23:26:42 -0400   KubeletReady                 kubelet is posting ready status

Ý nghĩa các thông số này như sau:

• MemoryPressure: True nếu node bị cao tải memory (RAM)
• DiskPressure: True nếu node bị đầy ổ cứng
• PIDPressure: True nếu node có quá nhiều process
• Ready: True nếu node vẫn đang hoạt động và được quản lý bởi kubelet

Ngoài ra ta có xem được các pod nào đang chạy trên node này trong mục “Non-terminated Pods”:

Non-terminated Pods:          (10 in total)
  Namespace                   Name                                                          CPU Requests  CPU Limits  Memory Requests  Memory Limits  AGE
  ---------                   ----                                                          ------------  ----------  ---------------  -------------  ---
  default                     debug                                                         0 (0%)        0 (0%)      0 (0%)           0 (0%)         22h
  default                     http-pod                                                      0 (0%)        0 (0%)      0 (0%)           0 (0%)         104m
  fleet-system                fleet-agent-55bfc495bd-48qrm                                  0 (0%)        0 (0%)      0 (0%)           0 (0%)         15d
  ingress                     apple-app                                                     0 (0%)        0 (0%)      0 (0%)           0 (0%)         14d
  kube-system                 kube-flannel-gfg9f                                            150m (1%)     300m (2%)   64M (0%)         500M (6%)      15d
  kube-system                 kube-proxy-gqrq6                                              0 (0%)        0 (0%)      0 (0%)           0 (0%)         4d22h
  kube-system                 nginx-proxy-viettq-worker1                                    25m (0%)      0 (0%)      32M (0%)         0 (0%)         15d
  kube-system                 nodelocaldns-2zxvj                                            100m (0%)     0 (0%)      70Mi (0%)        170Mi (2%)     15d
  storage                     nfs-storage-delete-nfs-client-provisioner-5b7c76bb6-w28cz     0 (0%)        0 (0%)      0 (0%)           0 (0%)         15d
  storage                     nfs-storage-retain-nfs-client-provisioner-5f8d88b89d-d8bqx    0 (0%)        0 (0%)      0 (0%)           0 (0%)         15d

Add/Remove node

Add thêm node vào k8s cluster

Ở đây mình chỉ nói về ý tưởng chứ không trình bày chi tiết. Về cơ bản node cần add cũng phải cài đặt và cấu hình đầy đủ các thành phần cần thiết cho k8s như:

• OS + network
• Disable swap
• Disable SELinux (hoặc set Permissive mode)
• Cấu hình firewall
• Cài đặt CRI (docker/containerd..)
• Cài đặt các thành phần của kubernetes: kubeadm, kubelete..
• Join node vào cluster

Để join node vào cluster thì trước hết ta phải tạo lệnh join từ master node:

[sysadmin@viettq-master1 ~]$ kubeadm token create --print-join-command
kubeadm join 127.0.0.1:6443 --token 4cw865.7x4smy5tjx7gx18e     --discovery-token-ca-cert-hash sha256:4bf22869f13024bb7b6b915845a0eff50244255765dc81a08cb99ffa9c1523c4

Kết quả ra một câu lệnh của kubeadm. Ta sẽ chạy lệnh này trên node cần add để join vào cluster, vậy là xong

Remove node khỏi k8s cluster

Việc remove node khỏi cluster phức tạp hơn một chút. Bởi node khi đó có thể đang có workload do đó thủ tục để remove node sẽ như sau:

• Cordon nodes: Để đảm bảo không có pod mới nào được lên lịch thực hiện trên node này nữa

kubectl cordon [node-name]

• Drain node: Sẽ thực hiện move hết những Pod đang chạy trên node này để giải phóng node

kubectl drain --ignore-daemonsets --force [node-name]

• Delete node: Sau bước trên thì node đã không còn Pod nào đang chạy nữa (trừ các pod mặc định của control plane). Do đó ta có thể xóa nó bằng lệnh:

kubectl delete node [node-name]

Ở nội dung basic nên phần add/remove Node mình giới thiệu tổng quan chứ không hướng dẫn chi tiết đỡ mất thời gian của các bạn. Mình sẽ bài viết riêng về phần này cho các bạn nào quan tâm

Như vậy các bạn đã làm quen với một số thao tác cơ bản với node trên k8s. Trong bài tiếp theo chúng ta sẽ tiếp tục làm quen với một resource nữa của k8s là Pods.

Cảm ơn các bạn đã theo dõi. Nếu thấy hay và bổ ích thì cho mình một Upvote vào bài viết nhé!