DAY 08 —— 资源管理与 QoS

举报
yd_268505900 发表于 2026/11/14 09:57:12 2026/11/14
【摘要】 DAY 08 —— 资源管理与 QoS

================================================================
DAY 08 —— 资源管理与 QoS
================================================================
【学习目标】
1. 彻底分清 requests 与 limits
2. 会算 CPU/内存单位,能给业务定合理值
3. 掌握 QoS 三类判定与驱逐顺序
4. 会配 LimitRange 与 ResourceQuota
5. 能定位 OOMKilled 与 CPU 限流

----------------------------------------------------------------
一、requests 与 limits 的本质区别
----------------------------------------------------------------
requests:调度依据 + 保障。scheduler 只把 Pod 放到"剩余可分配 >= requests"的节点。
          kubelet 用它算 QoS,cgroup 里它对应 cpu.shares / memory.min。
limits:  运行时上限。超过 CPU 被限流(throttle),超过内存被 OOMKill。

关键认知:
- requests 不限制使用量!Pod 可以远超 requests 使用资源(只要有空闲)
- limits 不保证能拿到!节点资源紧张时,连 requests 都可能被压缩
- 节点"可分配资源" = Allocatable = Capacity - system-reserved - kube-reserved - eviction-threshold

查看节点可分配与实际分配:
kubectl describe node <n> | grep -A8 "Allocatable"
kubectl describe node <n> | grep -A10 "Allocated resources"
kubectl get pod -A -o json | jq -r '
  .items[] | "\(.metadata.namespace)/\(.metadata.name) " +
  ([.spec.containers[].resources.requests.cpu // "0"] | join(","))'

----------------------------------------------------------------
二、单位换算
----------------------------------------------------------------
CPU:
1      = 1 核 = 1000m
500m   = 0.5 核
100m   = 0.1 核
注意:CPU 是"可压缩资源",超了只是变慢(throttling),不会被杀。

内存:
1 Ki = 1024, 1 Mi = 1024 Ki, 1 Gi = 1024 Mi(二进制,K8s 常用)
1 K  = 1000, 1 M  = 1000 K, 1 G  = 1000 M(十进制,少用)
建议统一用 Mi/Gi,避免 1G vs 1Gi 差 7% 的困惑。

【常见误区】limits.cpu = 1 意味着"最多用 1 核",
但 1 核不是"永远有 1 核",是"每 100ms 周期内最多用 100ms CPU 时间"。
CFS 配额导致:即使节点有空闲,被限流的容器也用不了 —— 这是很多"CPU 明明很闲但应用很慢"的根因。

查看是否被限流:
# 容器内
cat /sys/fs/cgroup/cpu.stat
# nr_throttled 持续增长 = 被限流
kubectl top pod <p> --containers

----------------------------------------------------------------
三、QoS 三类
----------------------------------------------------------------
判定规则(只看 requests/limits,与使用量无关):

Guaranteed:
  每个容器都必须同时设置 requests 和 limits,且 cpu、memory 的 requests == limits
  最稳定,最后被驱逐。核心服务、数据库用这个。

Burstable:
  至少一个容器设了 requests 或 limits,但不满足 Guaranteed
  最常见的一类,中等优先级。

BestEffort:
  所有容器都没设任何 requests 和 limits
  最先被驱逐。千万不要在生产这么干。

注意细节:
- 只要有一个容器没设,整个 Pod 就不是 Guaranteed
- 只设 limits 不设 requests:K8s 会把 requests 设成等于 limits(此时算 Burstable,
  除非所有容器都这样且 cpu/mem 都设了 —— 实际上等于 Guaranteed)
  为了不困惑:要 Guaranteed 就显式写 requests == limits

查看 QoS:
kubectl get pod <p> -o jsonpath='{.status.qosClass}{"\n"}'

驱逐顺序(节点资源不足时 kubelet 的 eviction):
BestEffort > Burstable(按 requests 超出程度排序)> Guaranteed
同一等级内,用得多、优先级低的先走。

----------------------------------------------------------------
四、完整示例:三档资源写法
----------------------------------------------------------------
【Guaranteed(数据库、核心 API)】
resources:
  requests:
    cpu: "1"
    memory: "2Gi"
  limits:
    cpu: "1"
    memory: "2Gi"

【Burstable(普通 Web 服务)】
resources:
  requests:
    cpu: "200m"
    memory: "256Mi"
  limits:
    cpu: "1"
    memory: "512Mi"

【BestEffort(仅测试,生产禁用)】
# 什么都不写

【只想要内存上限,CPU 不限制】
resources:
  requests:
    cpu: "100m"
    memory: "128Mi"
  limits:
    memory: "256Mi"        # 不写 cpu limits → 不会被 throttle
说明:不设 cpu limits 是很多团队的选择(避免莫名其妙的限流),
代价是节点 CPU 争抢时可能影响邻居。要配合合理的 requests。

----------------------------------------------------------------
五、LimitRange:命名空间默认值与上下限
----------------------------------------------------------------
给命名空间里所有 Pod 设默认 requests/limits,并限制单个 Pod 的最大值。

apiVersion: v1
kind: LimitRange
metadata:
  name: default-limits
  namespace: dev
spec:
  limits:
  - type: Container
    default:                 # 没写 limits 时的默认值
      cpu: "500m"
      memory: "512Mi"
    defaultRequest:          # 没写 requests 时的默认值
      cpu: "100m"
      memory: "128Mi"
    max:                     # 单个容器上限
      cpu: "2"
      memory: "2Gi"
    min:                     # 单个容器下限
      cpu: "50m"
      memory: "64Mi"
    maxLimitRequestRatio:    # limits/requests 最大倍数
      cpu: "10"

应用后:
- 新建 Pod 不写 resources → 自动填入 default/defaultRequest
- 写超过 max → 创建被拒绝:
  Error from server (Forbidden): maximum cpu usage per Container is 2, but limit is 4.
- 已有 Pod 不受影响(LimitRange 只在创建/更新时生效)

查看:
kubectl -n dev describe limitrange default-limits

----------------------------------------------------------------
六、ResourceQuota:命名空间总量限制
----------------------------------------------------------------
apiVersion: v1
kind: ResourceQuota
metadata:
  name: dev-quota
  namespace: dev
spec:
  hard:
    requests.cpu: "10"
    requests.memory: "20Gi"
    limits.cpu: "20"
    limits.memory: "40Gi"
    pods: "50"
    count/deployments.apps: "20"
    count/services: "20"
    persistentvolumeclaims: "10"
    requests.storage: "100Gi"
    services.loadbalancers: "2"
    services.nodeports: "2"

查看用量:
kubectl -n dev describe resourcequota dev-quota
# 会显示 Used / Hard

坑:启用 ResourceQuota 后,如果配额里包含 requests.cpu / limits.cpu,
则新 Pod 必须显式设置 requests 和 limits,否则被拒绝:
  pods "xxx" is forbidden: failed quota: dev-quota: must specify limits.cpu ...
解法:配合 LimitRange 给默认值。

常见配额项:
requests.cpu / requests.memory / limits.cpu / limits.memory
pods / count/deployments.apps / count/statefulsets.apps / jobs.batch
persistentvolumeclaims / requests.storage
secrets / configmaps / services.nodeports / services.loadbalancers

----------------------------------------------------------------
七、metrics-server 与 kubectl top
----------------------------------------------------------------
kubectl top 依赖 metrics-server(Day 16 详讲),最小安装:

kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml

自签证书环境(kubeadm/kind)需要加参数:
kubectl -n kube-system patch deploy metrics-server --type=json -p='[
  {"op":"add","path":"/spec/template/spec/containers/0/args/-","value":"--kubelet-insecure-tls"}
]'

验证:
kubectl top node
kubectl top pod -A --sort-by=memory | head -20
kubectl top pod <p> --containers

如果报 "error: Metrics API not available",等 30-60 秒让首次采集完成。

----------------------------------------------------------------
八、实操:制造 OOMKilled
----------------------------------------------------------------
cat > oom.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata: {name: oom-demo}
spec:
  containers:
  - name: stress
    image: polinux/stress:1.0.4
    command: ["stress"]
    args: ["--vm","1","--vm-bytes","300M","--vm-hang","1"]
    resources:
      requests: {memory: "64Mi"}
      limits:   {memory: "128Mi"}
EOF
kubectl apply -f oom.yaml
kubectl get pod oom-demo -w
# 状态:Running → OOMKilled → CrashLoopBackOff

kubectl describe pod oom-demo | grep -A5 "Last State"
# Last State: Terminated
#   Reason: OOMKilled
#   Exit Code: 137

kubectl get pod oom-demo -o jsonpath='{.status.qosClass}{"\n"}'   # Burstable

修复:把 limits.memory 提到 512Mi,或排查应用内存泄漏。

----------------------------------------------------------------
九、实操:制造 CPU 限流
----------------------------------------------------------------
cat > throttle.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata: {name: cpu-demo}
spec:
  containers:
  - name: cpu
    image: busybox:1.36
    command: ["sh","-c","while true; do :; done"]
    resources:
      requests: {cpu: "100m"}
      limits:   {cpu: "200m"}
EOF
kubectl apply -f throttle.yaml
sleep 20
kubectl top pod cpu-demo        # 显示约 200m
kubectl exec cpu-demo -- cat /sys/fs/cgroup/cpu.stat
#   nr_periods  ~200
#   nr_throttled ~190        ← 绝大部分周期都被限流
#   throttled_usec 很大

这就是"CPU 用满 200m 但业务慢"的真相。

----------------------------------------------------------------
十、怎么给业务定 requests/limits
----------------------------------------------------------------
方法(推荐顺序):
1) 压测:单实例在目标 QPS 下的 CPU/内存实际占用
2) requests = 稳定态用量的 1.2 倍(保证调度留量)
3) limits.cpu:
   - 延迟敏感服务:不设或设为 requests 的 2-3 倍
   - 批处理:可设紧一些
4) limits.memory = 稳态峰值 × 1.3(Java 还要考虑堆外内存)
5) 观察一周,用 kubectl top 和 Prometheus 的
   container_cpu_cfs_throttled_periods_total 调整

【Java 特有】
JVM 默认按"容器 limits"算堆大小(-XX:MaxRAMPercentage),
但堆外(元空间、直接内存、线程栈)也要占内存。
经验:limits.memory 至少是 -Xmx 的 1.5 倍,否则容易 OOMKilled。
例:-Xmx1g → limits.memory 至少 1536Mi。

【Node.js/Python】
常有多进程(cluster/gunicorn),注意 requests 要覆盖所有 worker。

----------------------------------------------------------------
十一、Day 08 自检清单
----------------------------------------------------------------
[ ] 能一句话说清 requests 与 limits 的区别
[ ] 会算 500m 是多少核、2Gi 是多少 Mi
[ ] 能判定任意 Pod 的 QoS 类别
[ ] 知道驱逐顺序 BestEffort > Burstable > Guaranteed
[ ] 装了 metrics-server,能用 kubectl top
[ ] 亲手制造 OOMKilled 并看懂 exitCode 137
[ ] 亲手看到 cpu.stat 里的 nr_throttled
[ ] 配了 LimitRange + ResourceQuota 并验证超额被拒
[ ] 能给一个 Java 服务算出合理的 memory limits

常见坑:
- 只设 limits 不设 requests → 调度按 limits 算,浪费容量
- 生产用 BestEffort → 节点一忙第一个被驱逐
- limits.cpu 设成 1,应用多线程但被卡在 1 核,误以为节点 CPU 不够
- Java 的 limits.memory 只比 -Xmx 大一点 → 频繁 OOMKilled
- 启用了 ResourceQuota 但没配 LimitRange,所有 Pod 创建失败
- 节点 Allocated 显示 100% 但实际 CPU 很闲(requests 定太高)
- 忘了 system-reserved,系统组件和业务抢内存导致节点 NotReady

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。