本文主要基于Kubernetes1.21.9和Linux操作系统CentOS7.4。
服务器版本 | docker软件版本 | Kubernetes(k8s)集群版本 | CPU架构 |
---|---|---|---|
CentOS Linux release 7.4.1708 (Core) | Docker version 20.10.12 | v1.21.9 | x86_64 |
Kubernetes集群架构:k8scloude1作为master节点,k8scloude2,k8scloude3作为worker节点。
服务器 | 操作系统版本 | CPU架构 | 进程 | 功能描述 |
---|---|---|---|---|
k8scloude1/192.168.110.130 | CentOS Linux release 7.4.1708 (Core) | x86_64 | docker,kube-apiserver,etcd,kube-scheduler,kube-controller-manager,kubelet,kube-proxy,coredns,calico | k8s master节点 |
k8scloude2/192.168.110.129 | CentOS Linux release 7.4.1708 (Core) | x86_64 | docker,kubelet,kube-proxy,calico | k8s worker节点 |
k8scloude3/192.168.110.128 | CentOS Linux release 7.4.1708 (Core) | x86_64 | docker,kubelet,kube-proxy,calico | k8s worker节点 |
在Kubernetes中,资源限制是一种管理和控制容器资源使用的重要机制。通过资源限制,我们可以为容器分配适当的计算资源,确保集群的稳定性和性能。
(资料图片仅供参考)
本篇博客将介绍Kubernetes中的资源限制的概念,并详细说明如何使用resources
、LimitRange
和ResourceQuota
来管理容器资源。
使用Kubernetes资源限制的前提是已经有一套可以正常运行的Kubernetes集群,关于Kubernetes(k8s)集群的安装部署,可以查看博客《Centos7 安装部署Kubernetes(k8s)集群》https://www.cnblogs.com/renshengdezheli/p/16686769.html。
三.Kubernetes资源限制简介在Kubernetes中,资源限制是一种指定容器在节点上可使用的资源量的方法。资源主要包括计算资源(如CPU和内存),还可以包括其他扩展资源(如GPU、存储等)。通过资源限制,我们可以控制容器对集群资源的使用,并确保不同容器之间的资源分配合理,避免资源竞争和冲突。
四.创建没有资源限制的pod4.1 创建没有资源限制的pod在kubernetes集群的所有节点下载centos镜像。
[root@k8scloude1 ~]# cd safe/[root@k8scloude1 safe]# docker pull hub.c.163.com/library/centos:latest[root@k8scloude2 ~]# docker pull hub.c.163.com/library/centos:latest[root@k8scloude3 ~]# docker pull hub.c.163.com/library/centos:latest
准备好memload安装包,memload是内存消耗测试工具。
[root@k8scloude1 safe]# ls memload-7.0-1.r29766.x86_64.rpmmemload-7.0-1.r29766.x86_64.rpm
如下yaml文件功能为:使用hub.c.163.com/library/centos:latest镜像创建一个休眠10000000秒的pod。
[root@k8scloude1 safe]# vim pod.yaml [root@k8scloude1 safe]# cat pod.yaml apiVersion: v1kind: Podmetadata: labels: test: podtest name: podtestspec: #当需要关闭容器时,立即杀死容器而不等待默认的30秒优雅停机时长。 terminationGracePeriodSeconds: 0 containers: - name: centos image: hub.c.163.com/library/centos:latest #imagePullPolicy: IfNotPresent:表示如果本地已经存在该镜像,则不重新下载;否则从远程 Docker Hub 下载该镜像 imagePullPolicy: IfNotPresent #command: ["sh","-c","sleep 10000000"]指定容器启动时要执行的命令,这里是在容器内部执行一个sleep命令,休眠时间为10000000秒。 command: ["sh","-c","sleep 10000000"] resources: {} dnsPolicy: ClusterFirst restartPolicy: Alwaysstatus: {}
创建pod。
[root@k8scloude1 safe]# kubectl apply -f pod.yaml pod/podtest created
查看pod,可以看到pod运行在k8scloude2节点上。
[root@k8scloude1 safe]# kubectl get pod -o wideNAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATESpodtest 1/1 Running 0 7s 10.244.112.180 k8scloude2
4.2 内存消耗测试把memload安装包拷贝到pod里面。
[root@k8scloude1 safe]# kubectl cp memload-7.0-1.r29766.x86_64.rpm podtest:/opt
进入pod里面。
[root@k8scloude1 safe]# kubectl exec -it podtest -- bash#memload-7.0-1.r29766.x86_64.rpm安装包已经在容器里了[root@podtest /]# ls /opt/memload-7.0-1.r29766.x86_64.rpm#安装memload[root@podtest /]# rpm -ivh /opt/memload-7.0-1.r29766.x86_64.rpm Preparing... ################################# [100%]Updating / installing... 1:memload-7.0-1.r29766 ################################# [100%] #在pod里面执行memload 1024,使其消耗1024M的内存 [root@podtest /]# memload 1024Attempting to allocate 1024 Mebibytes of resident memory...^C
因为podtest运行在k8scloude2节点上,所以在k8scloude2节点上观察内存消耗情况,podtest里没执行memload 1024之前,k8scloude2节点内存消耗情况如下。
[root@k8scloude2 ~]# free -m total used free shared buff/cache availableMem: 2920 692 660 17 1567 1910Swap: 0 0 0
在podtest里执行memload 1024之后,k8scloude2节点内存消耗情况如下。
[root@k8scloude2 ~]# free -m total used free shared buff/cache availableMem: 2920 1718 101 17 1099 886Swap: 0 0 0
podtest里取消执行memload 1024之后,内存消耗降下来了。
[root@k8scloude2 ~]# free -m total used free shared buff/cache availableMem: 2920 688 1126 17 1105 1916Swap: 0 0 0
在podtest里继续执行memload 1500,使其消耗1500M的内存。
[root@podtest /]# memload 1500Attempting to allocate 1500 Mebibytes of resident memory...^C
在k8scloude2节点上继续观察内存消耗。
首先清除一下缓存。
[root@k8scloude2 ~]# echo 3 > /proc/sys/vm/drop_caches
podtest里没执行memload 1500之前,k8scloude2节点内存消耗情况如下。
[root@k8scloude2 ~]# free -m total used free shared buff/cache availableMem: 2920 670 1770 17 479 1957Swap: 0 0 0
在podtest里执行memload 1500之后,k8scloude2节点内存消耗情况如下。
[root@k8scloude2 ~]# free -m total used free shared buff/cache availableMem: 2920 2178 134 17 607 448Swap: 0 0 0
podtest里取消执行memload 1500之后,内存消耗降下来了。
[root@k8scloude2 ~]# free -m total used free shared buff/cache availableMem: 2920 671 1640 17 608 1956Swap: 0 0 0
删除pod。
[root@k8scloude1 safe]# kubectl get pod NAME READY STATUS RESTARTS AGEpodtest 1/1 Running 0 26m[root@k8scloude1 safe]# kubectl delete pod podtest pod "podtest" deleted[root@k8scloude1 safe]# kubectl get pod No resources found in safe namespace.
由此我们可以发现:现在没有对pod进行资源限制,pod可以无限制的使用内存,CPU等等,接下来对pod进行资源限制。
五.使用resources字段配置资源限制在Kubernetes中,resources
字段是一种用于定义和管理容器资源需求和限制的对象。通过指定资源请求和限制,Kubernetes可以根据集群的可用资源进行调度和管理。
资源包括计算资源(如CPU和内存)以及其他可选的扩展资源(如GPU、存储等)。通过合理配置资源,我们可以避免容器之间的资源竞争和冲突,提高应用程序的性能和可靠性。
5.1 限制最低内存修改yaml文件,对pod的资源限制可以通过pod里的resource字段来限制,resources里的requests字段表示容器所在节点资源的最小值,最低要求,满足不了这个要求pod创建不成功。
requests:memory: 100Gi表示podtest最低要求100Gi内存,满足不了,pod就创建失败。
[root@k8scloude1 safe]# vim pod.yaml [root@k8scloude1 safe]# cat pod.yaml apiVersion: v1kind: Podmetadata: labels: test: podtest name: podtestspec: #当需要关闭容器时,立即杀死容器而不等待默认的30秒优雅停机时长。 terminationGracePeriodSeconds: 0 containers: - name: centos image: hub.c.163.com/library/centos:latest #imagePullPolicy: IfNotPresent:表示如果本地已经存在该镜像,则不重新下载;否则从远程 Docker Hub 下载该镜像 imagePullPolicy: IfNotPresent #command: ["sh","-c","sleep 10000000"]指定容器启动时要执行的命令,这里是在容器内部执行一个sleep命令,休眠时间为10000000秒。 command: ["sh","-c","sleep 10000000"] resources: #requests:memory: 100Gi表示podtest最低要求100Gi内存,满足不了pod就创建失败。 requests: memory: 100Gi dnsPolicy: ClusterFirst restartPolicy: Alwaysstatus: {}
创建pod。
[root@k8scloude1 safe]# kubectl apply -f pod.yaml pod/podtest created
查看pod,我们现在的机器环境满足不了100G的内存要求,所以pod状态为Pending。
[root@k8scloude1 safe]# kubectl get pod -o wideNAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATESpodtest 0/1 Pending 0 9s
删除pod。
[root@k8scloude1 safe]# kubectl delete pod podtest pod "podtest" deleted
5.2 限制最低CPU修改yaml文件,requests:cpu: 4 表示podtest最低要求有4核CPU,满足不了,pod就创建失败。
[root@k8scloude1 safe]# vim pod.yaml [root@k8scloude1 safe]# cat pod.yaml apiVersion: v1kind: Podmetadata: labels: test: podtest name: podtestspec: #当需要关闭容器时,立即杀死容器而不等待默认的30秒优雅停机时长。 terminationGracePeriodSeconds: 0 containers: - name: centos image: hub.c.163.com/library/centos:latest #imagePullPolicy: IfNotPresent:表示如果本地已经存在该镜像,则不重新下载;否则从远程 Docker Hub 下载该镜像 imagePullPolicy: IfNotPresent #command: ["sh","-c","sleep 10000000"]指定容器启动时要执行的命令,这里是在容器内部执行一个sleep命令,休眠时间为10000000秒。 command: ["sh","-c","sleep 10000000"] resources: #requests:cpu: 4 表示podtest最低要求有4核CPU,满足不了,pod就创建失败 requests: cpu: 4 dnsPolicy: ClusterFirst restartPolicy: Alwaysstatus: {}
创建pod。
[root@k8scloude1 safe]# kubectl apply -f pod.yaml pod/podtest created
查看pod,4核CPU无法满足,pod状态为Pending。
[root@k8scloude1 safe]# kubectl get pod -o wideNAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATESpodtest 0/1 Pending 0 13s
删除pod。
[root@k8scloude1 safe]# kubectl delete pod podtest pod "podtest" deleted
修改yaml文件,requests:cpu: 3 表示podtest最低要求有3核CPU,满足不了,pod就创建失败。
[root@k8scloude1 safe]# vim pod.yaml [root@k8scloude1 safe]# cat pod.yaml apiVersion: v1kind: Podmetadata: labels: test: podtest name: podtestspec: terminationGracePeriodSeconds: 0 containers: - name: centos image: hub.c.163.com/library/centos:latest imagePullPolicy: IfNotPresent command: ["sh","-c","sleep 10000000"] resources: #requests:cpu: 3 表示podtest最低要求有3核CPU,满足不了,pod就创建失败 requests: cpu: 3 dnsPolicy: ClusterFirst restartPolicy: Alwaysstatus: {}
创建pod。
[root@k8scloude1 safe]# kubectl apply -f pod.yaml pod/podtest created
requests:cpu: 3 要求有3核CPU之后,podtest满足条件,pod就运行起来了。requests:cpu: 3 可以换成requests:cpu: 3000m ,两者是等价的,1核等于1000个微核心。
[root@k8scloude1 safe]# kubectl get pod -o wideNAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATESpodtest 1/1 Running 0 4s 10.244.112.170 k8scloude2
查看节点负载。
[root@k8scloude1 safe]# kubectl top node W0323 08:56:05.755124 39033 top_node.go:119] Using json format to get metrics. Next release will switch to protocol-buffers, switch early by passing --use-protocol-buffers flagNAME CPU(cores) CPU% MEMORY(bytes) MEMORY% k8scloude1 311m 7% 1429Mi 50% k8scloude2 172m 4% 839Mi 29% k8scloude3 188m 4% 959Mi 34%
查看safe命名空间的pod负载。
[root@k8scloude1 safe]# kubectl top pod -n safeW0323 08:56:47.844614 39714 top_pod.go:140] Using json format to get metrics. Next release will switch to protocol-buffers, switch early by passing --use-protocol-buffers flagNAME CPU(cores) MEMORY(bytes) podtest 0m 2Mi
删除pod。
[root@k8scloude1 safe]# kubectl delete pod podtest pod "podtest" deleted[root@k8scloude1 safe]# kubectl get podNo resources found in safe namespace.
5.3 限制最低CPU和最高内存修改yaml文件,resources:limits表示容器消耗资源最大值,limits: memory: 500Mi 表示容器最多消耗500M内存,requests:cpu: 300m 表示podtest最低要求有300个微核心,满足不了,pod就创建失败。
[root@k8scloude1 safe]# vim pod.yaml [root@k8scloude1 safe]# cat pod.yaml apiVersion: v1kind: Podmetadata: labels: test: podtest name: podtestspec: #当需要关闭容器时,立即杀死容器而不等待默认的30秒优雅停机时长。 terminationGracePeriodSeconds: 0 containers: - name: centos image: hub.c.163.com/library/centos:latest #imagePullPolicy: IfNotPresent:表示如果本地已经存在该镜像,则不重新下载;否则从远程 Docker Hub 下载该镜像 imagePullPolicy: IfNotPresent #command: ["sh","-c","sleep 10000000"]指定容器启动时要执行的命令,这里是在容器内部执行一个sleep命令,休眠时间为10000000秒。 command: ["sh","-c","sleep 10000000"] resources: #requests:cpu: 300m 表示podtest最低要求有300个微核心,满足不了,pod就创建失败 requests: cpu: 300m #limits: memory: 500Mi 表示容器最多消耗500M内存 limits: memory: 500Mi dnsPolicy: ClusterFirst restartPolicy: Alwaysstatus: {}
创建pod。
[root@k8scloude1 safe]# kubectl apply -f pod.yaml pod/podtest created
查看pod,pod创建成功。
[root@k8scloude1 safe]# kubectl get pod -o wideNAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATESpodtest 1/1 Running 0 7s 10.244.112.188 k8scloude2
5.4 内存消耗测试再次进行资源消耗测试,把memload-7.0-1.r29766.x86_64.rpm安装包拷贝到podtest里。
[root@k8scloude1 safe]# kubectl cp memload-7.0-1.r29766.x86_64.rpm podtest:/opt
进入pod。
[root@k8scloude1 safe]# kubectl exec -it podtest -- bash#安装memload[root@podtest /]# rpm -ivh /opt/memload-7.0-1.r29766.x86_64.rpm Preparing... ################################# [100%]Updating / installing... 1:memload-7.0-1.r29766 ################################# [100%] #memload 1024消耗1024M内存就自动 killed了 [root@podtest /]# memload 1024Attempting to allocate 1024 Mebibytes of resident memory...Killed #memload 600消耗600M内存就自动 killed了 [root@podtest /]# memload 600 Attempting to allocate 600 Mebibytes of resident memory...Killed#memload 490消耗490M内存就可以[root@podtest /]# memload 490Attempting to allocate 490 Mebibytes of resident memory...^C#退出pod[root@podtest /]# exitexitcommand terminated with exit code 130
可以发现内存消耗不能大于limits:memory: 500Mi,大于500M的内存设置就会OOM Killed,资源限制成功。
删除pod。
[root@k8scloude1 safe]# kubectl delete pod podtest pod "podtest" deleted[root@k8scloude1 safe]# kubectl get pod No resources found in safe namespace.
六.使用LimitRange限制资源范围LimitRange
是一种用于限制容器资源使用的配置对象。它允许集群管理员定义资源的最小和最大限制,并确保容器在这些限制范围内使用资源。
通过使用LimitRange
,可以避免容器使用过多或过少的资源,保护集群免受资源耗尽和应用程序崩溃的影响。
默认情况下, Kubernetes 集群上的容器运行使用的计算资源没有限制。 使用 Kubernetes 资源配额, 管理员(也称为 集群操作者)可以在一个指定的命名空间内限制集群资源的使用与创建。 在命名空间中,一个 Pod 最多能够使用命名空间的资源配额所定义的 CPU 和内存用量。 作为集群操作者或命名空间级的管理员,你可能也会担心如何确保一个 Pod 不会垄断命名空间内所有可用的资源。
LimitRange 是限制命名空间内可为每个适用的对象类别 (例如 Pod 或 PersistentVolumeClaim) 指定的资源分配量(限制和请求)的策略对象。
一个 LimitRange(限制范围) 对象提供的限制能够做到:
在一个命名空间中实施对每个 Pod 或 Container 最小和最大的资源使用量的限制。
在一个命名空间中实施对每个 PersistentVolumeClaim 能申请的最小和最大的存储空间大小的限制。
在一个命名空间中实施对一种资源的申请值和限制值的比值的控制。
设置一个命名空间中对计算资源的默认申请/限制值,并且自动的在运行时注入到多个 Container 中。
当某命名空间中有一个 LimitRange 对象时,将在该命名空间中实施 LimitRange 限制。
如下LimitRange的功能为:创建了一个名为"mem-limit-range"的LimitRange资源对象,用于限制容器的内存使用范围。容器的内存限制在256Mi到512Mi之间,并且仅适用于容器。
[root@k8scloude1 safe]# vim limitRange.yaml[root@k8scloude1 safe]# cat limitRange.yaml apiVersion: v1kind: LimitRangemetadata: name: mem-limit-rangespec: limits: #memory: 512Mi:设置容器的最大内存限制为512MiB。 - max: memory: 512Mi #memory: 256Mi:设置容器的最小内存限制为256MiB。 min: memory: 256Mi #type: Container:指定这些限制适用于容器。 type: Container
创建LimitRange。
[root@k8scloude1 safe]# kubectl apply -f limitRange.yaml limitrange/mem-limit-range created
查看LimitRange。
[root@k8scloude1 safe]# kubectl get LimitRangeNAME CREATED ATmem-limit-range 2022-03-23T01:23:04Z[root@k8scloude1 safe]# kubectl get -f limitRange.yaml NAME CREATED ATmem-limit-range 2022-03-23T01:23:04Z
查看mem-limit-range的描述信息。
[root@k8scloude1 safe]# kubectl describe LimitRange mem-limit-rangeName: mem-limit-rangeNamespace: safeType Resource Min Max Default Request Default Limit Max Limit/Request Ratio---- -------- --- --- --------------- ------------- -----------------------Container memory 256Mi 512Mi 512Mi 512Mi -[root@k8scloude1 safe]# kubectl describe -f limitRange.yaml Name: mem-limit-rangeNamespace: safeType Resource Min Max Default Request Default Limit Max Limit/Request Ratio---- -------- --- --- --------------- ------------- -----------------------Container memory 256Mi 512Mi 512Mi 512Mi -
使用hub.c.163.com/library/centos:latest镜像创建pod。
[root@k8scloude1 safe]# vim pod.yaml [root@k8scloude1 safe]# cat pod.yaml apiVersion: v1kind: Podmetadata: labels: test: podtest name: podtestspec: #当需要关闭容器时,立即杀死容器而不等待默认的30秒优雅停机时长。 terminationGracePeriodSeconds: 0 containers: - name: centos image: hub.c.163.com/library/centos:latest #imagePullPolicy: IfNotPresent:表示如果本地已经存在该镜像,则不重新下载;否则从远程 Docker Hub 下载该镜像 imagePullPolicy: IfNotPresent #command: ["sh","-c","sleep 10000000"]指定容器启动时要执行的命令,这里是在容器内部执行一个sleep命令,休眠时间为10000000秒。 command: ["sh","-c","sleep 10000000"] resources: {} dnsPolicy: ClusterFirst restartPolicy: Alwaysstatus: {}
创建pod。
[root@k8scloude1 safe]# kubectl apply -f pod.yaml pod/podtest created[root@k8scloude1 safe]# kubectl get pod -o wideNAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATESpodtest 1/1 Running 0 7s 10.244.112.189 k8scloude2
把memload安装包拷贝到podtest里。
[root@k8scloude1 safe]# kubectl cp memload-7.0-1.r29766.x86_64.rpm podtest:/opt
进入pod,进行内存消耗测试。
[root@k8scloude1 safe]# kubectl exec -it podtest -- bash#安装memload[root@podtest /]# rpm -ivh /opt/memload-7.0-1.r29766.x86_64.rpm Preparing... ################################# [100%]Updating / installing... 1:memload-7.0-1.r29766 ################################# [100%]#memload 1024表示消耗1024M内存,1024M内存超过limits:max:memory: 512Mi,直接就Killed[root@podtest /]# memload 1024Attempting to allocate 1024 Mebibytes of resident memory...Killed#memload 500 表示消耗500M内存,500M小于limits:max:memory: 512Mi,成功消耗内存[root@podtest /]# memload 500 Attempting to allocate 500 Mebibytes of resident memory...^C[root@podtest /]# exitexitcommand terminated with exit code 130
可以发现容器内存设置不能超过limits:max:memory: 512Mi,成功进行资源限制。
删除pod。
[root@k8scloude1 safe]# kubectl delete pod podtest pod "podtest" deleted
七.同时使用LimitRange和resource字段配置资源限制修改yaml文件,resources字段和LimitRange都进行了资源限制,requests:memory: 200Mi表示podtest最低要求200Mi内存,满足不了pod就创建失败,limits: memory: 600Mi 表示容器最多消耗600Mi内存 。
[root@k8scloude1 safe]# vim pod.yaml [root@k8scloude1 safe]# cat pod.yaml apiVersion: v1kind: Podmetadata: labels: test: podtest name: podtestspec: terminationGracePeriodSeconds: 0 containers: - name: centos image: hub.c.163.com/library/centos:latest imagePullPolicy: IfNotPresent command: ["sh","-c","sleep 10000000"] resources: #requests:memory: 200Mi表示podtest最低要求200Mi内存,满足不了pod就创建失败。 requests: memory: 200Mi #limits: memory: 600Mi 表示容器最多消耗600Mi内存 limits: memory: 600Mi dnsPolicy: ClusterFirst restartPolicy: Alwaysstatus: {}
LimitRange的限制范围为256Mi到512Mi内存。
[root@k8scloude1 safe]# kubectl get LimitRangeNAME CREATED ATmem-limit-range 2022-03-23T01:23:04Z[root@k8scloude1 safe]# kubectl describe -f limitRange.yaml Name: mem-limit-rangeNamespace: safeType Resource Min Max Default Request Default Limit Max Limit/Request Ratio---- -------- --- --- --------------- ------------- -----------------------Container memory 256Mi 512Mi 512Mi 512Mi -
创建pod,pod创建失败,只有满足LimitRange min <= requests 修改yaml文件,requests:memory: 300Mi表示podtest最低要求300Mi内存,满足不了pod就创建失败,limits: memory: 500Mi 表示容器最多消耗500M内存 。 LimitRange的限制范围为256Mi到512Mi内存。 创建pod,pod创建成功,因为满足LimitRange min <= requests 如果resources字段和LimitRange都进行了资源限制,最终是resources字段生效,容器内存设置不能大于500Mi。 删除limitrange和pod。 使用 资源配额,通过 ResourceQuota 对象来定义,对每个命名空间的资源消耗总量提供限制。 它可以限制命名空间中某种类型的对象的总数目上限,也可以限制命名空间中的 Pod 可以使用的计算资源的总上限。 资源配额的工作方式如下: 不同的团队可以在不同的命名空间下工作。这可以通过 RBAC 强制执行。 集群管理员可以为每个命名空间创建一个或多个 ResourceQuota 对象。 当用户在命名空间下创建资源(如 Pod、Service 等)时,Kubernetes 的配额系统会跟踪集群的资源使用情况, 以确保使用的资源用量不超过 ResourceQuota 中定义的硬性资源限额。 如果资源创建或者更新请求违反了配额约束,那么该请求会报错(HTTP 403 FORBIDDEN), 并在消息中给出有可能违反的约束。 如果命名空间下的计算资源 (如 cpu 和 memory)的配额被启用, 则用户必须为这些资源设定请求值(request)和约束值(limit),否则配额系统将拒绝 Pod 的创建。 提示: 可使用 LimitRanger 准入控制器来为没有设置计算资源需求的 Pod 设置默认值。 简而言之,resourcequota 配额就是用来设置一个命名空间最多能创建多少个对象,比如能创建多少svc,能创建多少pod/deploy。 如下yaml文件功能为:使用hub.c.163.com/library/centos:latest镜像创建一个休眠10000000秒的pod。 创建pod。 给podtest创建4个svc,关于svc的详细内容,请查看博客《Kubernetes(k8s)服务service:service的发现和service的发布》。 可以发现,此时可以创建很多个svc。 删除svc。 现在还没有资源配额resourcequotas。 配置ResourceQuota,功能为创建了一个名为"resourcequota"的ResourceQuota资源对象,用于限制集群中的资源配额。使用该ResourceQuota,最多只能创建4个Pod和4个Service。当达到或超过这些限制时,将无法再创建新的Pod或Service,从而避免过度消耗资源并提高整个集群的可靠性和稳定性。 创建ResourceQuota。 查看ResourceQuota。 现在有1个pod,0个service。 查看resourcequota的描述信息。 创建svc。 svc只能创建4个,第五个就创建失败了。 查看resourcequotas,可以看到service配额已经满了。 删除svc,pod,resourcequotas。 本篇博客介绍了Kubernetes中资源限制的概念以及如何使用 资源限制是Kubernetes中重要的管理和控制机制,对于构建可靠且高效的应用程序环境至关重要。 标签:
[root@k8scloude1 safe]# kubectl apply -f pod.yaml Error from server (Forbidden): error when creating "pod.yaml": pods "podtest" is forbidden: [minimum memory usage per Container is 256Mi, but request is 200Mi, maximum memory usage per Container is 512Mi, but limit is 600Mi]
[root@k8scloude1 safe]# vim pod.yaml [root@k8scloude1 safe]# cat pod.yaml apiVersion: v1kind: Podmetadata: labels: test: podtest name: podtestspec: terminationGracePeriodSeconds: 0 containers: - name: centos image: hub.c.163.com/library/centos:latest imagePullPolicy: IfNotPresent command: ["sh","-c","sleep 10000000"] resources: #requests:memory: 300Mi表示podtest最低要求300Mi内存,满足不了pod就创建失败。 requests: memory: 300Mi #limits: memory: 500Mi 表示容器最多消耗500M内存 limits: memory: 500Mi dnsPolicy: ClusterFirst restartPolicy: Alwaysstatus: {}
[root@k8scloude1 safe]# kubectl describe -f limitRange.yaml Name: mem-limit-rangeNamespace: safeType Resource Min Max Default Request Default Limit Max Limit/Request Ratio---- -------- --- --- --------------- ------------- -----------------------Container memory 256Mi 512Mi 512Mi 512Mi -
[root@k8scloude1 safe]# kubectl apply -f pod.yaml pod/podtest created[root@k8scloude1 safe]# kubectl get pod -o wideNAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATESpodtest 1/1 Running 0 7s 10.244.112.190 k8scloude2
八.使用ResourceQuota资源配额管理[root@k8scloude1 safe]# kubectl delete -f limitRange.yaml limitrange "mem-limit-range" deleted[root@k8scloude1 safe]# kubectl delete pod podtest pod "podtest" deleted
ResourceQuota
是一种用于限制命名空间内资源使用的对象。它允许集群管理员对命名空间中的资源使用进行配额管理,确保不同的团队或项目之间资源的公平分配和有效利用。ResourceQuota
,可以限制命名空间中的CPU、内存和其他资源的总量,防止资源滥用和浪费。[root@k8scloude1 safe]# vim pod.yaml [root@k8scloude1 safe]# cat pod.yaml apiVersion: v1kind: Podmetadata: labels: test: podtest name: podtestspec: #当需要关闭容器时,立即杀死容器而不等待默认的30秒优雅停机时长。 terminationGracePeriodSeconds: 0 containers: - name: centos image: hub.c.163.com/library/centos:latest #imagePullPolicy: IfNotPresent:表示如果本地已经存在该镜像,则不重新下载;否则从远程 Docker Hub 下载该镜像 imagePullPolicy: IfNotPresent #command: ["sh","-c","sleep 10000000"]指定容器启动时要执行的命令,这里是在容器内部执行一个sleep命令,休眠时间为10000000秒。 command: ["sh","-c","sleep 10000000"] resources: {} dnsPolicy: ClusterFirst restartPolicy: Alwaysstatus: {}
[root@k8scloude1 safe]# kubectl apply -f pod.yaml pod/podtest created[root@k8scloude1 safe]# kubectl get podNAME READY STATUS RESTARTS AGEpodtest 1/1 Running 0 3s
[root@k8scloude1 safe]# kubectl expose --name=svc1 pod podtest --port=80service/svc1 exposed[root@k8scloude1 safe]# kubectl expose --name=svc2 pod podtest --port=80service/svc2 exposed[root@k8scloude1 safe]# kubectl expose --name=svc3 pod podtest --port=80service/svc3 exposed[root@k8scloude1 safe]# kubectl expose --name=svc4 pod podtest --port=80service/svc4 exposed
[root@k8scloude1 safe]# kubectl get svc -o wideNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTORsvc1 ClusterIP 10.98.89.245
[root@k8scloude1 safe]# kubectl delete svc svc1 svc2 svc3 svc4service "svc1" deletedservice "svc2" deletedservice "svc3" deletedservice "svc4" deleted[root@k8scloude1 safe]# kubectl get svc -o wideNo resources found in safe namespace.
[root@k8scloude1 safe]# kubectl get resourcequotas No resources found in safe namespace.
[root@k8scloude1 safe]# vim resourcequotas.yaml #只能创建4个pod和4个svc[root@k8scloude1 safe]# cat resourcequotas.yaml apiVersion: v1kind: ResourceQuotametadata: name: resourcequotaspec: #hard:指定资源的硬性限制,即最大允许使用的资源数量。 hard: #pods: "4":设置该集群中最多可以创建4个Pod。 pods: "4" #services: "4":设置该集群中最多可以创建4个Service。 services: "4"
[root@k8scloude1 safe]# kubectl apply -f resourcequotas.yaml resourcequota/resourcequota created
[root@k8scloude1 safe]# kubectl get resourcequotas NAME AGE REQUEST LIMITresourcequota 6s pods: 1/4, services: 0/4
[root@k8scloude1 safe]# kubectl get podNAME READY STATUS RESTARTS AGEpodtest 1/1 Running 0 10m[root@k8scloude1 safe]# kubectl get svcNo resources found in safe namespace.
[root@k8scloude1 safe]# kubectl describe -f resourcequotas.yaml Name: resourcequotaNamespace: safeResource Used Hard-------- ---- ----pods 1 4services 0 4
[root@k8scloude1 safe]# kubectl expose --name=svc1 pod podtest --port=80service/svc1 exposed[root@k8scloude1 safe]# kubectl expose --name=svc2 pod podtest --port=80service/svc2 exposed[root@k8scloude1 safe]# kubectl expose --name=svc3 pod podtest --port=80service/svc3 exposed[root@k8scloude1 safe]# kubectl expose --name=svc4 pod podtest --port=80service/svc4 exposed[root@k8scloude1 safe]# kubectl get svcNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGEsvc1 ClusterIP 10.110.233.61
[root@k8scloude1 safe]# kubectl expose --name=svc5 pod podtest --port=80Error from server (Forbidden): services "svc5" is forbidden: exceeded quota: resourcequota, requested: services=1, used: services=4, limited: services=4
[root@k8scloude1 safe]# kubectl get resourcequotas NAME AGE REQUEST LIMITresourcequota 2m17s pods: 1/4, services: 4/4
九.总结[root@k8scloude1 safe]# kubectl delete svc svc1 svc2service "svc1" deletedservice "svc2" deleted[root@k8scloude1 safe]# kubectl delete svc svc3 svc4service "svc3" deletedservice "svc4" deleted[root@k8scloude1 safe]# kubectl delete pod podtest pod "podtest" deleted[root@k8scloude1 safe]# kubectl delete -f resourcequotas.yaml resourcequota "resourcequota" deleted
resources
、LimitRange
和ResourceQuota
来管理容器资源。通过合理配置资源限制,可以提高集群的稳定性和性能,并确保资源的公平分配和有效利用。
仓储物流“成渝圈”如何乘势而上? 12月3日,连接昆明和万象的中老铁路全线开通运营,被惠及的显...
两件西周青铜簋时隔三千年成功配对 考古工作者介绍,这个铜簋的盖、身分别时隔40余年出土,纹饰...
“医保砍价”不是一个人在战斗 晁星 “我眼泪都快掉下来了”“每一个小群体都不该被放弃”…...
“购物成瘾”真的是一种病 刘艳 牛雅娟 本周日即将迎来“双十二”促销季,很多人又开始摩拳...
因迷恋山间风景,一男子在甘孜州稻城县海拔4000多米的无人区迷失方向,随后与同伴失联。12月的稻城...
嫌疑人DNA信息比中后,成都市公安局刑侦支队技术处DNA实验室民警白小刚一下坐在凳子上,恍惚迟疑间...
一批反映南京大屠杀历史的新书发布 新华社南京12月7日电(记者邱冰清、蒋芳)“以史为鉴,开创未来...
我在现场·照片背后的故事|电影《亲爱的》里面没有的结局,在我眼前“上映” 12月6日,在深圳市...
冥想?泡脚?不如听听助眠音乐 晚上睡不着,白天睡不醒,成为最贴合都市人群的“睡眠画像”。随...
养老话题 老年教育面临缺口 “终身教育”潜力无限 【现实挑战】“新老年”群体愿意在培养兴...
孙海洋被拐14年儿子如何找到的? 警方侦办另一宗拐骗儿童案时发现线索,通过人像比对、DNA确认找...
北京天文馆、圆明园将对未成年人免费开放 12月6日,北京天文馆发布通知称,12月8日起试行对未成...
今年全国粮食总产量再创新高 连续7年保持在1 3万亿斤以上 根据对全国31个省(区、市)的抽样调...
斑块软的很危险 硬的就无碍? 血管里的“垃圾”分类 赶快学起来! 一项最新研究显示:中国...
诺西那生钠注射液大幅降价 聚焦医保谈判背后脊髓性肌萎缩症家庭 医保目录公布那天 好多家长都...
抖音“窗花剪剪”遭抄袭 被判获赔20万元 法院认为“窗花剪剪”的这种表达方式理应受到《著作权...
公安机关近日侦破3起拐卖儿童案件 失散十几年 3组家庭终于团圆了 北京青年报记者12月6日从公...
2021年度十大网络用语发布 本报讯(记者 路艳霞)作为年度“汉语盘点”活动最具网络特色的组成部...
北京天文馆向未成年人免费开放 本报讯(记者 牛伟坤)北京天文馆对票价免费及优惠政策作出调整:1...
2021北京百个网红打卡地发布 本报讯(记者 李洋)2021北京网红打卡地推荐榜单昨晚正式发布。自然...