DAY 08 —— 资源管理与 QoS
================================================================
DAY 08 —— 资源管理与 QoS
================================================================
【学习目标】
1. 彻底分清 requests 与 limits
2. 会算 CPU/内存单位,能给业务定合理值
3. 掌握 QoS 三类判定与驱逐顺序
4. 会配 LimitRange 与 ResourceQuota
5. 能定位 OOMKilled 与 CPU 限流
----------------------------------------------------------------
一、requests 与 limits 的本质区别
----------------------------------------------------------------
requests:调度依据 + 保障。scheduler 只把 Pod 放到"剩余可分配 >= requests"的节点。
kubelet 用它算 QoS,cgroup 里它对应 cpu.shares / memory.min。
limits: 运行时上限。超过 CPU 被限流(throttle),超过内存被 OOMKill。
关键认知:
- requests 不限制使用量!Pod 可以远超 requests 使用资源(只要有空闲)
- limits 不保证能拿到!节点资源紧张时,连 requests 都可能被压缩
- 节点"可分配资源" = Allocatable = Capacity - system-reserved - kube-reserved - eviction-threshold
查看节点可分配与实际分配:
kubectl describe node <n> | grep -A8 "Allocatable"
kubectl describe node <n> | grep -A10 "Allocated resources"
kubectl get pod -A -o json | jq -r '
.items[] | "\(.metadata.namespace)/\(.metadata.name) " +
([.spec.containers[].resources.requests.cpu // "0"] | join(","))'
----------------------------------------------------------------
二、单位换算
----------------------------------------------------------------
CPU:
1 = 1 核 = 1000m
500m = 0.5 核
100m = 0.1 核
注意:CPU 是"可压缩资源",超了只是变慢(throttling),不会被杀。
内存:
1 Ki = 1024, 1 Mi = 1024 Ki, 1 Gi = 1024 Mi(二进制,K8s 常用)
1 K = 1000, 1 M = 1000 K, 1 G = 1000 M(十进制,少用)
建议统一用 Mi/Gi,避免 1G vs 1Gi 差 7% 的困惑。
【常见误区】limits.cpu = 1 意味着"最多用 1 核",
但 1 核不是"永远有 1 核",是"每 100ms 周期内最多用 100ms CPU 时间"。
CFS 配额导致:即使节点有空闲,被限流的容器也用不了 —— 这是很多"CPU 明明很闲但应用很慢"的根因。
查看是否被限流:
# 容器内
cat /sys/fs/cgroup/cpu.stat
# nr_throttled 持续增长 = 被限流
kubectl top pod <p> --containers
----------------------------------------------------------------
三、QoS 三类
----------------------------------------------------------------
判定规则(只看 requests/limits,与使用量无关):
Guaranteed:
每个容器都必须同时设置 requests 和 limits,且 cpu、memory 的 requests == limits
最稳定,最后被驱逐。核心服务、数据库用这个。
Burstable:
至少一个容器设了 requests 或 limits,但不满足 Guaranteed
最常见的一类,中等优先级。
BestEffort:
所有容器都没设任何 requests 和 limits
最先被驱逐。千万不要在生产这么干。
注意细节:
- 只要有一个容器没设,整个 Pod 就不是 Guaranteed
- 只设 limits 不设 requests:K8s 会把 requests 设成等于 limits(此时算 Burstable,
除非所有容器都这样且 cpu/mem 都设了 —— 实际上等于 Guaranteed)
为了不困惑:要 Guaranteed 就显式写 requests == limits
查看 QoS:
kubectl get pod <p> -o jsonpath='{.status.qosClass}{"\n"}'
驱逐顺序(节点资源不足时 kubelet 的 eviction):
BestEffort > Burstable(按 requests 超出程度排序)> Guaranteed
同一等级内,用得多、优先级低的先走。
----------------------------------------------------------------
四、完整示例:三档资源写法
----------------------------------------------------------------
【Guaranteed(数据库、核心 API)】
resources:
requests:
cpu: "1"
memory: "2Gi"
limits:
cpu: "1"
memory: "2Gi"
【Burstable(普通 Web 服务)】
resources:
requests:
cpu: "200m"
memory: "256Mi"
limits:
cpu: "1"
memory: "512Mi"
【BestEffort(仅测试,生产禁用)】
# 什么都不写
【只想要内存上限,CPU 不限制】
resources:
requests:
cpu: "100m"
memory: "128Mi"
limits:
memory: "256Mi" # 不写 cpu limits → 不会被 throttle
说明:不设 cpu limits 是很多团队的选择(避免莫名其妙的限流),
代价是节点 CPU 争抢时可能影响邻居。要配合合理的 requests。
----------------------------------------------------------------
五、LimitRange:命名空间默认值与上下限
----------------------------------------------------------------
给命名空间里所有 Pod 设默认 requests/limits,并限制单个 Pod 的最大值。
apiVersion: v1
kind: LimitRange
metadata:
name: default-limits
namespace: dev
spec:
limits:
- type: Container
default: # 没写 limits 时的默认值
cpu: "500m"
memory: "512Mi"
defaultRequest: # 没写 requests 时的默认值
cpu: "100m"
memory: "128Mi"
max: # 单个容器上限
cpu: "2"
memory: "2Gi"
min: # 单个容器下限
cpu: "50m"
memory: "64Mi"
maxLimitRequestRatio: # limits/requests 最大倍数
cpu: "10"
应用后:
- 新建 Pod 不写 resources → 自动填入 default/defaultRequest
- 写超过 max → 创建被拒绝:
Error from server (Forbidden): maximum cpu usage per Container is 2, but limit is 4.
- 已有 Pod 不受影响(LimitRange 只在创建/更新时生效)
查看:
kubectl -n dev describe limitrange default-limits
----------------------------------------------------------------
六、ResourceQuota:命名空间总量限制
----------------------------------------------------------------
apiVersion: v1
kind: ResourceQuota
metadata:
name: dev-quota
namespace: dev
spec:
hard:
requests.cpu: "10"
requests.memory: "20Gi"
limits.cpu: "20"
limits.memory: "40Gi"
pods: "50"
count/deployments.apps: "20"
count/services: "20"
persistentvolumeclaims: "10"
requests.storage: "100Gi"
services.loadbalancers: "2"
services.nodeports: "2"
查看用量:
kubectl -n dev describe resourcequota dev-quota
# 会显示 Used / Hard
坑:启用 ResourceQuota 后,如果配额里包含 requests.cpu / limits.cpu,
则新 Pod 必须显式设置 requests 和 limits,否则被拒绝:
pods "xxx" is forbidden: failed quota: dev-quota: must specify limits.cpu ...
解法:配合 LimitRange 给默认值。
常见配额项:
requests.cpu / requests.memory / limits.cpu / limits.memory
pods / count/deployments.apps / count/statefulsets.apps / jobs.batch
persistentvolumeclaims / requests.storage
secrets / configmaps / services.nodeports / services.loadbalancers
----------------------------------------------------------------
七、metrics-server 与 kubectl top
----------------------------------------------------------------
kubectl top 依赖 metrics-server(Day 16 详讲),最小安装:
kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml
自签证书环境(kubeadm/kind)需要加参数:
kubectl -n kube-system patch deploy metrics-server --type=json -p='[
{"op":"add","path":"/spec/template/spec/containers/0/args/-","value":"--kubelet-insecure-tls"}
]'
验证:
kubectl top node
kubectl top pod -A --sort-by=memory | head -20
kubectl top pod <p> --containers
如果报 "error: Metrics API not available",等 30-60 秒让首次采集完成。
----------------------------------------------------------------
八、实操:制造 OOMKilled
----------------------------------------------------------------
cat > oom.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata: {name: oom-demo}
spec:
containers:
- name: stress
image: polinux/stress:1.0.4
command: ["stress"]
args: ["--vm","1","--vm-bytes","300M","--vm-hang","1"]
resources:
requests: {memory: "64Mi"}
limits: {memory: "128Mi"}
EOF
kubectl apply -f oom.yaml
kubectl get pod oom-demo -w
# 状态:Running → OOMKilled → CrashLoopBackOff
kubectl describe pod oom-demo | grep -A5 "Last State"
# Last State: Terminated
# Reason: OOMKilled
# Exit Code: 137
kubectl get pod oom-demo -o jsonpath='{.status.qosClass}{"\n"}' # Burstable
修复:把 limits.memory 提到 512Mi,或排查应用内存泄漏。
----------------------------------------------------------------
九、实操:制造 CPU 限流
----------------------------------------------------------------
cat > throttle.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata: {name: cpu-demo}
spec:
containers:
- name: cpu
image: busybox:1.36
command: ["sh","-c","while true; do :; done"]
resources:
requests: {cpu: "100m"}
limits: {cpu: "200m"}
EOF
kubectl apply -f throttle.yaml
sleep 20
kubectl top pod cpu-demo # 显示约 200m
kubectl exec cpu-demo -- cat /sys/fs/cgroup/cpu.stat
# nr_periods ~200
# nr_throttled ~190 ← 绝大部分周期都被限流
# throttled_usec 很大
这就是"CPU 用满 200m 但业务慢"的真相。
----------------------------------------------------------------
十、怎么给业务定 requests/limits
----------------------------------------------------------------
方法(推荐顺序):
1) 压测:单实例在目标 QPS 下的 CPU/内存实际占用
2) requests = 稳定态用量的 1.2 倍(保证调度留量)
3) limits.cpu:
- 延迟敏感服务:不设或设为 requests 的 2-3 倍
- 批处理:可设紧一些
4) limits.memory = 稳态峰值 × 1.3(Java 还要考虑堆外内存)
5) 观察一周,用 kubectl top 和 Prometheus 的
container_cpu_cfs_throttled_periods_total 调整
【Java 特有】
JVM 默认按"容器 limits"算堆大小(-XX:MaxRAMPercentage),
但堆外(元空间、直接内存、线程栈)也要占内存。
经验:limits.memory 至少是 -Xmx 的 1.5 倍,否则容易 OOMKilled。
例:-Xmx1g → limits.memory 至少 1536Mi。
【Node.js/Python】
常有多进程(cluster/gunicorn),注意 requests 要覆盖所有 worker。
----------------------------------------------------------------
十一、Day 08 自检清单
----------------------------------------------------------------
[ ] 能一句话说清 requests 与 limits 的区别
[ ] 会算 500m 是多少核、2Gi 是多少 Mi
[ ] 能判定任意 Pod 的 QoS 类别
[ ] 知道驱逐顺序 BestEffort > Burstable > Guaranteed
[ ] 装了 metrics-server,能用 kubectl top
[ ] 亲手制造 OOMKilled 并看懂 exitCode 137
[ ] 亲手看到 cpu.stat 里的 nr_throttled
[ ] 配了 LimitRange + ResourceQuota 并验证超额被拒
[ ] 能给一个 Java 服务算出合理的 memory limits
常见坑:
- 只设 limits 不设 requests → 调度按 limits 算,浪费容量
- 生产用 BestEffort → 节点一忙第一个被驱逐
- limits.cpu 设成 1,应用多线程但被卡在 1 核,误以为节点 CPU 不够
- Java 的 limits.memory 只比 -Xmx 大一点 → 频繁 OOMKilled
- 启用了 ResourceQuota 但没配 LimitRange,所有 Pod 创建失败
- 节点 Allocated 显示 100% 但实际 CPU 很闲(requests 定太高)
- 忘了 system-reserved,系统组件和业务抢内存导致节点 NotReady
- 点赞
- 收藏
- 关注作者
评论(0)