首页
首页 > 国内 > > 详情

Kubernetes(k8s) 资源限制:resources,LimitRange,ResourceQuota

2023-07-05 13:23:09来源:博客园
目录一.系统环境二.前言三.Kubernetes资源限制简介四.创建没有资源限制的pod4.1 创建没有资源限制的pod4.2 内存消耗测试五.使用resources字段配置资源限制5.1 限制最低内存5.2 限制最低CPU5.3 限制最低CPU和最高内存5.4 内存消耗测试六.使用LimitRange限制资源范围七.同时使用LimitRange和resource字段配置资源限制八.使用ResourceQuota资源配额管理九.总结一.系统环境

本文主要基于Kubernetes1.21.9和Linux操作系统CentOS7.4。

服务器版本docker软件版本Kubernetes(k8s)集群版本CPU架构
CentOS Linux release 7.4.1708 (Core)Docker version 20.10.12v1.21.9x86_64

Kubernetes集群架构:k8scloude1作为master节点,k8scloude2,k8scloude3作为worker节点。

服务器操作系统版本CPU架构进程功能描述
k8scloude1/192.168.110.130CentOS Linux release 7.4.1708 (Core)x86_64docker,kube-apiserver,etcd,kube-scheduler,kube-controller-manager,kubelet,kube-proxy,coredns,calicok8s master节点
k8scloude2/192.168.110.129CentOS Linux release 7.4.1708 (Core)x86_64docker,kubelet,kube-proxy,calicok8s worker节点
k8scloude3/192.168.110.128CentOS Linux release 7.4.1708 (Core)x86_64docker,kubelet,kube-proxy,calicok8s worker节点
二.前言

在Kubernetes中,资源限制是一种管理和控制容器资源使用的重要机制。通过资源限制,我们可以为容器分配适当的计算资源,确保集群的稳定性和性能。


(资料图片仅供参考)

本篇博客将介绍Kubernetes中的资源限制的概念,并详细说明如何使用resourcesLimitRangeResourceQuota来管理容器资源。

使用Kubernetes资源限制的前提是已经有一套可以正常运行的Kubernetes集群,关于Kubernetes(k8s)集群的安装部署,可以查看博客《Centos7 安装部署Kubernetes(k8s)集群》https://www.cnblogs.com/renshengdezheli/p/16686769.html。

三.Kubernetes资源限制简介

在Kubernetes中,资源限制是一种指定容器在节点上可使用的资源量的方法。资源主要包括计算资源(如CPU和内存),还可以包括其他扩展资源(如GPU、存储等)。通过资源限制,我们可以控制容器对集群资源的使用,并确保不同容器之间的资源分配合理,避免资源竞争和冲突。

四.创建没有资源限制的pod4.1 创建没有资源限制的pod

在kubernetes集群的所有节点下载centos镜像。

[root@k8scloude1 ~]# cd safe/[root@k8scloude1 safe]# docker pull hub.c.163.com/library/centos:latest[root@k8scloude2 ~]# docker pull hub.c.163.com/library/centos:latest[root@k8scloude3 ~]# docker pull hub.c.163.com/library/centos:latest

准备好memload安装包,memload是内存消耗测试工具。

[root@k8scloude1 safe]# ls  memload-7.0-1.r29766.x86_64.rpmmemload-7.0-1.r29766.x86_64.rpm  

如下yaml文件功能为:使用hub.c.163.com/library/centos:latest镜像创建一个休眠10000000秒的pod。

[root@k8scloude1 safe]# vim pod.yaml [root@k8scloude1 safe]# cat pod.yaml apiVersion: v1kind: Podmetadata:  labels:    test: podtest  name: podtestspec:  #当需要关闭容器时,立即杀死容器而不等待默认的30秒优雅停机时长。  terminationGracePeriodSeconds: 0  containers:  - name: centos    image: hub.c.163.com/library/centos:latest    #imagePullPolicy: IfNotPresent:表示如果本地已经存在该镜像,则不重新下载;否则从远程 Docker Hub 下载该镜像    imagePullPolicy: IfNotPresent    #command: ["sh","-c","sleep 10000000"]指定容器启动时要执行的命令,这里是在容器内部执行一个sleep命令,休眠时间为10000000秒。    command: ["sh","-c","sleep 10000000"]    resources: {}  dnsPolicy: ClusterFirst  restartPolicy: Alwaysstatus: {}

创建pod。

[root@k8scloude1 safe]# kubectl apply -f pod.yaml pod/podtest created

查看pod,可以看到pod运行在k8scloude2节点上。

[root@k8scloude1 safe]# kubectl get pod -o wideNAME      READY   STATUS    RESTARTS   AGE   IP               NODE         NOMINATED NODE   READINESS GATESpodtest   1/1     Running   0          7s    10.244.112.180   k8scloude2              
4.2 内存消耗测试

把memload安装包拷贝到pod里面。

[root@k8scloude1 safe]# kubectl cp memload-7.0-1.r29766.x86_64.rpm podtest:/opt

进入pod里面。

[root@k8scloude1 safe]# kubectl exec -it podtest -- bash#memload-7.0-1.r29766.x86_64.rpm安装包已经在容器里了[root@podtest /]# ls /opt/memload-7.0-1.r29766.x86_64.rpm#安装memload[root@podtest /]# rpm -ivh /opt/memload-7.0-1.r29766.x86_64.rpm Preparing...                          ################################# [100%]Updating / installing...   1:memload-7.0-1.r29766             ################################# [100%]   #在pod里面执行memload 1024,使其消耗1024M的内存   [root@podtest /]# memload 1024Attempting to allocate 1024 Mebibytes of resident memory...^C

因为podtest运行在k8scloude2节点上,所以在k8scloude2节点上观察内存消耗情况,podtest里没执行memload 1024之前,k8scloude2节点内存消耗情况如下。

[root@k8scloude2 ~]# free -m              total        used        free      shared  buff/cache   availableMem:           2920         692         660          17        1567        1910Swap:             0           0           0

在podtest里执行memload 1024之后,k8scloude2节点内存消耗情况如下。

[root@k8scloude2 ~]# free -m              total        used        free      shared  buff/cache   availableMem:           2920        1718         101          17        1099         886Swap:             0           0           0

podtest里取消执行memload 1024之后,内存消耗降下来了。

[root@k8scloude2 ~]# free -m              total        used        free      shared  buff/cache   availableMem:           2920         688        1126          17        1105        1916Swap:             0           0           0

在podtest里继续执行memload 1500,使其消耗1500M的内存。

[root@podtest /]# memload 1500Attempting to allocate 1500 Mebibytes of resident memory...^C

在k8scloude2节点上继续观察内存消耗。

首先清除一下缓存。

[root@k8scloude2 ~]# echo 3 > /proc/sys/vm/drop_caches 

podtest里没执行memload 1500之前,k8scloude2节点内存消耗情况如下。

[root@k8scloude2 ~]# free -m              total        used        free      shared  buff/cache   availableMem:           2920         670        1770          17         479        1957Swap:             0           0           0

在podtest里执行memload 1500之后,k8scloude2节点内存消耗情况如下。

[root@k8scloude2 ~]# free -m              total        used        free      shared  buff/cache   availableMem:           2920        2178         134          17         607         448Swap:             0           0           0

podtest里取消执行memload 1500之后,内存消耗降下来了。

[root@k8scloude2 ~]# free -m              total        used        free      shared  buff/cache   availableMem:           2920         671        1640          17         608        1956Swap:             0           0           0

删除pod。

[root@k8scloude1 safe]# kubectl get pod NAME      READY   STATUS    RESTARTS   AGEpodtest   1/1     Running   0          26m[root@k8scloude1 safe]# kubectl delete pod podtest pod "podtest" deleted[root@k8scloude1 safe]# kubectl get pod No resources found in safe namespace.

由此我们可以发现:现在没有对pod进行资源限制,pod可以无限制的使用内存,CPU等等,接下来对pod进行资源限制。

五.使用resources字段配置资源限制

在Kubernetes中,resources字段是一种用于定义和管理容器资源需求和限制的对象。通过指定资源请求和限制,Kubernetes可以根据集群的可用资源进行调度和管理。

资源包括计算资源(如CPU和内存)以及其他可选的扩展资源(如GPU、存储等)。通过合理配置资源,我们可以避免容器之间的资源竞争和冲突,提高应用程序的性能和可靠性。

5.1 限制最低内存

修改yaml文件,对pod的资源限制可以通过pod里的resource字段来限制,resources里的requests字段表示容器所在节点资源的最小值,最低要求,满足不了这个要求pod创建不成功。

requests:memory: 100Gi表示podtest最低要求100Gi内存,满足不了,pod就创建失败。

[root@k8scloude1 safe]# vim pod.yaml [root@k8scloude1 safe]# cat pod.yaml apiVersion: v1kind: Podmetadata:  labels:    test: podtest  name: podtestspec:  #当需要关闭容器时,立即杀死容器而不等待默认的30秒优雅停机时长。  terminationGracePeriodSeconds: 0  containers:  - name: centos    image: hub.c.163.com/library/centos:latest    #imagePullPolicy: IfNotPresent:表示如果本地已经存在该镜像,则不重新下载;否则从远程 Docker Hub 下载该镜像    imagePullPolicy: IfNotPresent    #command: ["sh","-c","sleep 10000000"]指定容器启动时要执行的命令,这里是在容器内部执行一个sleep命令,休眠时间为10000000秒。    command: ["sh","-c","sleep 10000000"]    resources:       #requests:memory: 100Gi表示podtest最低要求100Gi内存,满足不了pod就创建失败。      requests:        memory: 100Gi  dnsPolicy: ClusterFirst  restartPolicy: Alwaysstatus: {}

创建pod。

[root@k8scloude1 safe]# kubectl apply -f pod.yaml pod/podtest created

查看pod,我们现在的机器环境满足不了100G的内存要求,所以pod状态为Pending。

[root@k8scloude1 safe]# kubectl get pod -o wideNAME      READY   STATUS    RESTARTS   AGE   IP       NODE     NOMINATED NODE   READINESS GATESpodtest   0/1     Pending   0          9s                     

删除pod。

[root@k8scloude1 safe]# kubectl delete pod podtest pod "podtest" deleted
5.2 限制最低CPU

修改yaml文件,requests:cpu: 4 表示podtest最低要求有4核CPU,满足不了,pod就创建失败。

[root@k8scloude1 safe]# vim pod.yaml [root@k8scloude1 safe]# cat pod.yaml apiVersion: v1kind: Podmetadata:  labels:    test: podtest  name: podtestspec:  #当需要关闭容器时,立即杀死容器而不等待默认的30秒优雅停机时长。  terminationGracePeriodSeconds: 0  containers:  - name: centos    image: hub.c.163.com/library/centos:latest    #imagePullPolicy: IfNotPresent:表示如果本地已经存在该镜像,则不重新下载;否则从远程 Docker Hub 下载该镜像    imagePullPolicy: IfNotPresent    #command: ["sh","-c","sleep 10000000"]指定容器启动时要执行的命令,这里是在容器内部执行一个sleep命令,休眠时间为10000000秒。    command: ["sh","-c","sleep 10000000"]    resources:       #requests:cpu: 4 表示podtest最低要求有4核CPU,满足不了,pod就创建失败      requests:        cpu: 4  dnsPolicy: ClusterFirst  restartPolicy: Alwaysstatus: {}

创建pod。

[root@k8scloude1 safe]# kubectl apply -f pod.yaml pod/podtest created

查看pod,4核CPU无法满足,pod状态为Pending。

[root@k8scloude1 safe]# kubectl get pod -o wideNAME      READY   STATUS    RESTARTS   AGE   IP       NODE     NOMINATED NODE   READINESS GATESpodtest   0/1     Pending   0          13s                    

删除pod。

[root@k8scloude1 safe]# kubectl delete pod podtest pod "podtest" deleted

修改yaml文件,requests:cpu: 3 表示podtest最低要求有3核CPU,满足不了,pod就创建失败。

[root@k8scloude1 safe]# vim pod.yaml [root@k8scloude1 safe]# cat pod.yaml apiVersion: v1kind: Podmetadata:  labels:    test: podtest  name: podtestspec:  terminationGracePeriodSeconds: 0  containers:  - name: centos    image: hub.c.163.com/library/centos:latest    imagePullPolicy: IfNotPresent    command: ["sh","-c","sleep 10000000"]    resources:       #requests:cpu: 3 表示podtest最低要求有3核CPU,满足不了,pod就创建失败      requests:        cpu: 3  dnsPolicy: ClusterFirst  restartPolicy: Alwaysstatus: {}

创建pod。

[root@k8scloude1 safe]# kubectl apply -f pod.yaml pod/podtest created

requests:cpu: 3 要求有3核CPU之后,podtest满足条件,pod就运行起来了。requests:cpu: 3 可以换成requests:cpu: 3000m ,两者是等价的,1核等于1000个微核心。

[root@k8scloude1 safe]# kubectl get pod -o wideNAME      READY   STATUS    RESTARTS   AGE   IP               NODE         NOMINATED NODE   READINESS GATESpodtest   1/1     Running   0          4s    10.244.112.170   k8scloude2              

查看节点负载。

[root@k8scloude1 safe]# kubectl top node W0323 08:56:05.755124   39033 top_node.go:119] Using json format to get metrics. Next release will switch to protocol-buffers, switch early by passing --use-protocol-buffers flagNAME         CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%   k8scloude1   311m         7%     1429Mi          50%       k8scloude2   172m         4%     839Mi           29%       k8scloude3   188m         4%     959Mi           34%  

查看safe命名空间的pod负载。

[root@k8scloude1 safe]# kubectl top pod -n safeW0323 08:56:47.844614   39714 top_pod.go:140] Using json format to get metrics. Next release will switch to protocol-buffers, switch early by passing --use-protocol-buffers flagNAME      CPU(cores)   MEMORY(bytes)   podtest   0m           2Mi            

删除pod。

[root@k8scloude1 safe]# kubectl delete pod podtest pod "podtest" deleted[root@k8scloude1 safe]# kubectl get podNo resources found in safe namespace.
5.3 限制最低CPU和最高内存

修改yaml文件,resources:limits表示容器消耗资源最大值,limits: memory: 500Mi 表示容器最多消耗500M内存,requests:cpu: 300m 表示podtest最低要求有300个微核心,满足不了,pod就创建失败。

[root@k8scloude1 safe]# vim pod.yaml [root@k8scloude1 safe]# cat pod.yaml apiVersion: v1kind: Podmetadata:  labels:    test: podtest  name: podtestspec:  #当需要关闭容器时,立即杀死容器而不等待默认的30秒优雅停机时长。  terminationGracePeriodSeconds: 0  containers:  - name: centos    image: hub.c.163.com/library/centos:latest    #imagePullPolicy: IfNotPresent:表示如果本地已经存在该镜像,则不重新下载;否则从远程 Docker Hub 下载该镜像    imagePullPolicy: IfNotPresent    #command: ["sh","-c","sleep 10000000"]指定容器启动时要执行的命令,这里是在容器内部执行一个sleep命令,休眠时间为10000000秒。    command: ["sh","-c","sleep 10000000"]    resources:       #requests:cpu: 300m 表示podtest最低要求有300个微核心,满足不了,pod就创建失败      requests:        cpu: 300m      #limits: memory: 500Mi 表示容器最多消耗500M内存        limits:        memory: 500Mi  dnsPolicy: ClusterFirst  restartPolicy: Alwaysstatus: {}

创建pod。

[root@k8scloude1 safe]# kubectl apply -f pod.yaml pod/podtest created

查看pod,pod创建成功。

[root@k8scloude1 safe]# kubectl get pod -o wideNAME      READY   STATUS    RESTARTS   AGE   IP               NODE         NOMINATED NODE   READINESS GATESpodtest   1/1     Running   0          7s    10.244.112.188   k8scloude2              
5.4 内存消耗测试

再次进行资源消耗测试,把memload-7.0-1.r29766.x86_64.rpm安装包拷贝到podtest里。

[root@k8scloude1 safe]# kubectl cp memload-7.0-1.r29766.x86_64.rpm podtest:/opt

进入pod。

[root@k8scloude1 safe]# kubectl exec -it podtest -- bash#安装memload[root@podtest /]# rpm -ivh /opt/memload-7.0-1.r29766.x86_64.rpm Preparing...                          ################################# [100%]Updating / installing...   1:memload-7.0-1.r29766             ################################# [100%]   #memload 1024消耗1024M内存就自动 killed了 [root@podtest /]# memload 1024Attempting to allocate 1024 Mebibytes of resident memory...Killed   #memload 600消耗600M内存就自动 killed了 [root@podtest /]# memload 600 Attempting to allocate 600 Mebibytes of resident memory...Killed#memload 490消耗490M内存就可以[root@podtest /]# memload 490Attempting to allocate 490 Mebibytes of resident memory...^C#退出pod[root@podtest /]# exitexitcommand terminated with exit code 130

可以发现内存消耗不能大于limits:memory: 500Mi,大于500M的内存设置就会OOM Killed,资源限制成功。

删除pod。

[root@k8scloude1 safe]# kubectl delete pod podtest pod "podtest" deleted[root@k8scloude1 safe]# kubectl get pod No resources found in safe namespace.
六.使用LimitRange限制资源范围

LimitRange是一种用于限制容器资源使用的配置对象。它允许集群管理员定义资源的最小和最大限制,并确保容器在这些限制范围内使用资源。

通过使用LimitRange,可以避免容器使用过多或过少的资源,保护集群免受资源耗尽和应用程序崩溃的影响。

默认情况下, Kubernetes 集群上的容器运行使用的计算资源没有限制。 使用 Kubernetes 资源配额, 管理员(也称为 集群操作者)可以在一个指定的命名空间内限制集群资源的使用与创建。 在命名空间中,一个 Pod 最多能够使用命名空间的资源配额所定义的 CPU 和内存用量。 作为集群操作者或命名空间级的管理员,你可能也会担心如何确保一个 Pod 不会垄断命名空间内所有可用的资源。

LimitRange 是限制命名空间内可为每个适用的对象类别 (例如 Pod 或 PersistentVolumeClaim) 指定的资源分配量(限制和请求)的策略对象。

一个 LimitRange(限制范围) 对象提供的限制能够做到:

在一个命名空间中实施对每个 Pod 或 Container 最小和最大的资源使用量的限制。

在一个命名空间中实施对每个 PersistentVolumeClaim 能申请的最小和最大的存储空间大小的限制。

在一个命名空间中实施对一种资源的申请值和限制值的比值的控制。

设置一个命名空间中对计算资源的默认申请/限制值,并且自动的在运行时注入到多个 Container 中。

当某命名空间中有一个 LimitRange 对象时,将在该命名空间中实施 LimitRange 限制。

如下LimitRange的功能为:创建了一个名为"mem-limit-range"的LimitRange资源对象,用于限制容器的内存使用范围。容器的内存限制在256Mi到512Mi之间,并且仅适用于容器。

[root@k8scloude1 safe]# vim limitRange.yaml[root@k8scloude1 safe]# cat limitRange.yaml apiVersion: v1kind: LimitRangemetadata:  name: mem-limit-rangespec:  limits:  #memory: 512Mi:设置容器的最大内存限制为512MiB。  - max:      memory: 512Mi    #memory: 256Mi:设置容器的最小内存限制为256MiB。      min:      memory: 256Mi    #type: Container:指定这些限制适用于容器。      type: Container

创建LimitRange。

[root@k8scloude1 safe]# kubectl apply -f limitRange.yaml limitrange/mem-limit-range created

查看LimitRange。

[root@k8scloude1 safe]# kubectl get LimitRangeNAME              CREATED ATmem-limit-range   2022-03-23T01:23:04Z[root@k8scloude1 safe]# kubectl get -f limitRange.yaml NAME              CREATED ATmem-limit-range   2022-03-23T01:23:04Z

查看mem-limit-range的描述信息。

[root@k8scloude1 safe]# kubectl describe LimitRange mem-limit-rangeName:       mem-limit-rangeNamespace:  safeType        Resource  Min    Max    Default Request  Default Limit  Max Limit/Request Ratio----        --------  ---    ---    ---------------  -------------  -----------------------Container   memory    256Mi  512Mi  512Mi            512Mi          -[root@k8scloude1 safe]# kubectl describe -f limitRange.yaml Name:       mem-limit-rangeNamespace:  safeType        Resource  Min    Max    Default Request  Default Limit  Max Limit/Request Ratio----        --------  ---    ---    ---------------  -------------  -----------------------Container   memory    256Mi  512Mi  512Mi            512Mi          -

使用hub.c.163.com/library/centos:latest镜像创建pod。

[root@k8scloude1 safe]# vim pod.yaml [root@k8scloude1 safe]# cat pod.yaml apiVersion: v1kind: Podmetadata:  labels:    test: podtest  name: podtestspec:  #当需要关闭容器时,立即杀死容器而不等待默认的30秒优雅停机时长。  terminationGracePeriodSeconds: 0  containers:  - name: centos    image: hub.c.163.com/library/centos:latest    #imagePullPolicy: IfNotPresent:表示如果本地已经存在该镜像,则不重新下载;否则从远程 Docker Hub 下载该镜像    imagePullPolicy: IfNotPresent    #command: ["sh","-c","sleep 10000000"]指定容器启动时要执行的命令,这里是在容器内部执行一个sleep命令,休眠时间为10000000秒。    command: ["sh","-c","sleep 10000000"]    resources: {}   dnsPolicy: ClusterFirst  restartPolicy: Alwaysstatus: {}

创建pod。

[root@k8scloude1 safe]# kubectl apply -f pod.yaml pod/podtest created[root@k8scloude1 safe]# kubectl get pod -o wideNAME      READY   STATUS    RESTARTS   AGE   IP               NODE         NOMINATED NODE   READINESS GATESpodtest   1/1     Running   0          7s    10.244.112.189   k8scloude2              

把memload安装包拷贝到podtest里。

[root@k8scloude1 safe]# kubectl cp memload-7.0-1.r29766.x86_64.rpm podtest:/opt

进入pod,进行内存消耗测试。

[root@k8scloude1 safe]# kubectl exec -it podtest -- bash#安装memload[root@podtest /]# rpm -ivh /opt/memload-7.0-1.r29766.x86_64.rpm Preparing...                          ################################# [100%]Updating / installing...   1:memload-7.0-1.r29766             ################################# [100%]#memload 1024表示消耗1024M内存,1024M内存超过limits:max:memory: 512Mi,直接就Killed[root@podtest /]# memload 1024Attempting to allocate 1024 Mebibytes of resident memory...Killed#memload 500 表示消耗500M内存,500M小于limits:max:memory: 512Mi,成功消耗内存[root@podtest /]# memload 500 Attempting to allocate 500 Mebibytes of resident memory...^C[root@podtest /]# exitexitcommand terminated with exit code 130

可以发现容器内存设置不能超过limits:max:memory: 512Mi,成功进行资源限制。

删除pod。

[root@k8scloude1 safe]# kubectl delete pod podtest pod "podtest" deleted
七.同时使用LimitRange和resource字段配置资源限制

修改yaml文件,resources字段和LimitRange都进行了资源限制,requests:memory: 200Mi表示podtest最低要求200Mi内存,满足不了pod就创建失败,limits: memory: 600Mi 表示容器最多消耗600Mi内存 。

[root@k8scloude1 safe]# vim pod.yaml [root@k8scloude1 safe]# cat pod.yaml apiVersion: v1kind: Podmetadata:  labels:    test: podtest  name: podtestspec:  terminationGracePeriodSeconds: 0  containers:  - name: centos    image: hub.c.163.com/library/centos:latest    imagePullPolicy: IfNotPresent    command: ["sh","-c","sleep 10000000"]    resources:      #requests:memory: 200Mi表示podtest最低要求200Mi内存,满足不了pod就创建失败。      requests:        memory: 200Mi       #limits: memory: 600Mi 表示容器最多消耗600Mi内存          limits:        memory: 600Mi   dnsPolicy: ClusterFirst  restartPolicy: Alwaysstatus: {}

LimitRange的限制范围为256Mi到512Mi内存。

[root@k8scloude1 safe]# kubectl get LimitRangeNAME              CREATED ATmem-limit-range   2022-03-23T01:23:04Z[root@k8scloude1 safe]# kubectl describe -f limitRange.yaml Name:       mem-limit-rangeNamespace:  safeType        Resource  Min    Max    Default Request  Default Limit  Max Limit/Request Ratio----        --------  ---    ---    ---------------  -------------  -----------------------Container   memory    256Mi  512Mi  512Mi            512Mi          -

创建pod,pod创建失败,只有满足LimitRange min <= requests

[root@k8scloude1 safe]# kubectl apply -f pod.yaml Error from server (Forbidden): error when creating "pod.yaml": pods "podtest" is forbidden: [minimum memory usage per Container is 256Mi, but request is 200Mi, maximum memory usage per Container is 512Mi, but limit is 600Mi]

修改yaml文件,requests:memory: 300Mi表示podtest最低要求300Mi内存,满足不了pod就创建失败,limits: memory: 500Mi 表示容器最多消耗500M内存 。

[root@k8scloude1 safe]# vim pod.yaml [root@k8scloude1 safe]# cat pod.yaml apiVersion: v1kind: Podmetadata:  labels:    test: podtest  name: podtestspec:  terminationGracePeriodSeconds: 0  containers:  - name: centos    image: hub.c.163.com/library/centos:latest    imagePullPolicy: IfNotPresent    command: ["sh","-c","sleep 10000000"]    resources:      #requests:memory: 300Mi表示podtest最低要求300Mi内存,满足不了pod就创建失败。      requests:        memory: 300Mi       #limits: memory: 500Mi 表示容器最多消耗500M内存          limits:        memory: 500Mi   dnsPolicy: ClusterFirst  restartPolicy: Alwaysstatus: {}

LimitRange的限制范围为256Mi到512Mi内存。

[root@k8scloude1 safe]# kubectl describe -f limitRange.yaml Name:       mem-limit-rangeNamespace:  safeType        Resource  Min    Max    Default Request  Default Limit  Max Limit/Request Ratio----        --------  ---    ---    ---------------  -------------  -----------------------Container   memory    256Mi  512Mi  512Mi            512Mi          -

创建pod,pod创建成功,因为满足LimitRange min <= requests

[root@k8scloude1 safe]# kubectl apply -f pod.yaml pod/podtest created[root@k8scloude1 safe]# kubectl get pod -o wideNAME      READY   STATUS    RESTARTS   AGE   IP               NODE         NOMINATED NODE   READINESS GATESpodtest   1/1     Running   0          7s    10.244.112.190   k8scloude2              

如果resources字段和LimitRange都进行了资源限制,最终是resources字段生效,容器内存设置不能大于500Mi。

删除limitrange和pod。

[root@k8scloude1 safe]# kubectl delete -f limitRange.yaml limitrange "mem-limit-range" deleted[root@k8scloude1 safe]# kubectl delete pod podtest pod "podtest" deleted
八.使用ResourceQuota资源配额管理

ResourceQuota是一种用于限制命名空间内资源使用的对象。它允许集群管理员对命名空间中的资源使用进行配额管理,确保不同的团队或项目之间资源的公平分配和有效利用。

使用ResourceQuota,可以限制命名空间中的CPU、内存和其他资源的总量,防止资源滥用和浪费。

资源配额,通过 ResourceQuota 对象来定义,对每个命名空间的资源消耗总量提供限制。 它可以限制命名空间中某种类型的对象的总数目上限,也可以限制命名空间中的 Pod 可以使用的计算资源的总上限。

资源配额的工作方式如下:

不同的团队可以在不同的命名空间下工作。这可以通过 RBAC 强制执行。

集群管理员可以为每个命名空间创建一个或多个 ResourceQuota 对象。

当用户在命名空间下创建资源(如 Pod、Service 等)时,Kubernetes 的配额系统会跟踪集群的资源使用情况, 以确保使用的资源用量不超过 ResourceQuota 中定义的硬性资源限额。

如果资源创建或者更新请求违反了配额约束,那么该请求会报错(HTTP 403 FORBIDDEN), 并在消息中给出有可能违反的约束。

如果命名空间下的计算资源 (如 cpu 和 memory)的配额被启用, 则用户必须为这些资源设定请求值(request)和约束值(limit),否则配额系统将拒绝 Pod 的创建。 提示: 可使用 LimitRanger 准入控制器来为没有设置计算资源需求的 Pod 设置默认值。

简而言之,resourcequota 配额就是用来设置一个命名空间最多能创建多少个对象,比如能创建多少svc,能创建多少pod/deploy。

如下yaml文件功能为:使用hub.c.163.com/library/centos:latest镜像创建一个休眠10000000秒的pod。

[root@k8scloude1 safe]# vim pod.yaml [root@k8scloude1 safe]# cat pod.yaml apiVersion: v1kind: Podmetadata:  labels:    test: podtest  name: podtestspec:  #当需要关闭容器时,立即杀死容器而不等待默认的30秒优雅停机时长。  terminationGracePeriodSeconds: 0  containers:  - name: centos    image: hub.c.163.com/library/centos:latest    #imagePullPolicy: IfNotPresent:表示如果本地已经存在该镜像,则不重新下载;否则从远程 Docker Hub 下载该镜像    imagePullPolicy: IfNotPresent    #command: ["sh","-c","sleep 10000000"]指定容器启动时要执行的命令,这里是在容器内部执行一个sleep命令,休眠时间为10000000秒。    command: ["sh","-c","sleep 10000000"]    resources: {}  dnsPolicy: ClusterFirst  restartPolicy: Alwaysstatus: {}

创建pod。

[root@k8scloude1 safe]# kubectl apply -f pod.yaml pod/podtest created[root@k8scloude1 safe]# kubectl get podNAME      READY   STATUS    RESTARTS   AGEpodtest   1/1     Running   0          3s

给podtest创建4个svc,关于svc的详细内容,请查看博客《Kubernetes(k8s)服务service:service的发现和service的发布》。

[root@k8scloude1 safe]# kubectl expose --name=svc1 pod podtest --port=80service/svc1 exposed[root@k8scloude1 safe]# kubectl expose --name=svc2 pod podtest --port=80service/svc2 exposed[root@k8scloude1 safe]# kubectl expose --name=svc3 pod podtest --port=80service/svc3 exposed[root@k8scloude1 safe]# kubectl expose --name=svc4 pod podtest --port=80service/svc4 exposed

可以发现,此时可以创建很多个svc。

[root@k8scloude1 safe]# kubectl get svc -o wideNAME   TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)   AGE   SELECTORsvc1   ClusterIP   10.98.89.245             80/TCP    21s   test=podtestsvc2   ClusterIP   10.109.215.162           80/TCP    15s   test=podtestsvc3   ClusterIP   10.96.10.12              80/TCP    12s   test=podtestsvc4   ClusterIP   10.109.113.59            80/TCP    7s    test=podtest

删除svc。

[root@k8scloude1 safe]# kubectl delete svc svc1 svc2 svc3 svc4service "svc1" deletedservice "svc2" deletedservice "svc3" deletedservice "svc4" deleted[root@k8scloude1 safe]# kubectl get svc -o wideNo resources found in safe namespace.

现在还没有资源配额resourcequotas。

[root@k8scloude1 safe]# kubectl get resourcequotas No resources found in safe namespace.

配置ResourceQuota,功能为创建了一个名为"resourcequota"的ResourceQuota资源对象,用于限制集群中的资源配额。使用该ResourceQuota,最多只能创建4个Pod和4个Service。当达到或超过这些限制时,将无法再创建新的Pod或Service,从而避免过度消耗资源并提高整个集群的可靠性和稳定性。

[root@k8scloude1 safe]# vim resourcequotas.yaml #只能创建4个pod和4个svc[root@k8scloude1 safe]# cat resourcequotas.yaml apiVersion: v1kind: ResourceQuotametadata:  name: resourcequotaspec:  #hard:指定资源的硬性限制,即最大允许使用的资源数量。  hard:    #pods: "4":设置该集群中最多可以创建4个Pod。    pods: "4"    #services: "4":设置该集群中最多可以创建4个Service。    services: "4"

创建ResourceQuota。

[root@k8scloude1 safe]# kubectl apply -f resourcequotas.yaml resourcequota/resourcequota created

查看ResourceQuota。

[root@k8scloude1 safe]# kubectl get resourcequotas NAME            AGE   REQUEST                    LIMITresourcequota   6s    pods: 1/4, services: 0/4   

现在有1个pod,0个service。

[root@k8scloude1 safe]# kubectl get podNAME      READY   STATUS    RESTARTS   AGEpodtest   1/1     Running   0          10m[root@k8scloude1 safe]# kubectl get svcNo resources found in safe namespace.

查看resourcequota的描述信息。

[root@k8scloude1 safe]# kubectl describe -f resourcequotas.yaml Name:       resourcequotaNamespace:  safeResource    Used  Hard--------    ----  ----pods        1     4services    0     4

创建svc。

[root@k8scloude1 safe]# kubectl expose --name=svc1 pod podtest --port=80service/svc1 exposed[root@k8scloude1 safe]# kubectl expose --name=svc2 pod podtest --port=80service/svc2 exposed[root@k8scloude1 safe]# kubectl expose --name=svc3 pod podtest --port=80service/svc3 exposed[root@k8scloude1 safe]# kubectl expose --name=svc4 pod podtest --port=80service/svc4 exposed[root@k8scloude1 safe]# kubectl get svcNAME   TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)   AGEsvc1   ClusterIP   10.110.233.61            80/TCP    37ssvc2   ClusterIP   10.105.108.94            80/TCP    34ssvc3   ClusterIP   10.105.226.140           80/TCP    29ssvc4   ClusterIP   10.98.10.38              80/TCP    25s

svc只能创建4个,第五个就创建失败了。

[root@k8scloude1 safe]# kubectl expose --name=svc5 pod podtest --port=80Error from server (Forbidden): services "svc5" is forbidden: exceeded quota: resourcequota, requested: services=1, used: services=4, limited: services=4

查看resourcequotas,可以看到service配额已经满了。

[root@k8scloude1 safe]# kubectl get resourcequotas NAME            AGE     REQUEST                    LIMITresourcequota   2m17s   pods: 1/4, services: 4/4   

删除svc,pod,resourcequotas。

[root@k8scloude1 safe]# kubectl delete svc svc1 svc2service "svc1" deletedservice "svc2" deleted[root@k8scloude1 safe]# kubectl delete svc svc3 svc4service "svc3" deletedservice "svc4" deleted[root@k8scloude1 safe]# kubectl delete pod podtest pod "podtest" deleted[root@k8scloude1 safe]# kubectl delete -f resourcequotas.yaml resourcequota "resourcequota" deleted
九.总结

本篇博客介绍了Kubernetes中资源限制的概念以及如何使用resourcesLimitRangeResourceQuota来管理容器资源。通过合理配置资源限制,可以提高集群的稳定性和性能,并确保资源的公平分配和有效利用。

资源限制是Kubernetes中重要的管理和控制机制,对于构建可靠且高效的应用程序环境至关重要。

标签:

上一篇:高价收购游戏账号、低价出售游戏币……诈骗老套路骗了好多人 天天滚动
下一篇:最后一页

资源

课程

上海新增1例本土新冠肺炎确诊病例