DAY 06 —— ConfigMap 与 Secret 配置管理

举报
yd_268505900 发表于 2026/11/12 09:11:11 2026/11/12
【摘要】 DAY 06 —— ConfigMap 与 Secret 配置管理

================================================================
DAY 06 —— ConfigMap 与 Secret 配置管理
================================================================
【学习目标】
1. 掌握 ConfigMap 的四种创建方式
2. 分清 env / envFrom / 挂载 / subPath 四种用法及各自的坑
3. 理解 Secret 类型与"base64 不是加密"
4. 会配 etcd 静态加密、会用 imagePullSecrets 拉私有镜像
5. 验证配置热更新,知道哪些能热更、哪些不能

----------------------------------------------------------------
一、为什么要把配置从镜像里拿出来
----------------------------------------------------------------
镜像 = 不可变制品。配置写进镜像的后果:
- 改一行配置要重新构建、推送、拉取、重启
- 同一份镜像无法在 dev/prod 复用
- 密码进了镜像层,谁拉下来都能看到

ConfigMap(非敏感) + Secret(敏感)把配置外置,镜像才能"一次构建,到处运行"。

----------------------------------------------------------------
二、ConfigMap 四种创建方式
----------------------------------------------------------------
# 1) 字面量
kubectl create configmap app-cfg \
  --from-literal=APP_ENV=prod \
  --from-literal=LOG_LEVEL=info

# 2) 单个文件(key = 文件名,value = 内容)
kubectl create configmap nginx-conf --from-file=./nginx.conf

# 3) 指定 key 名
kubectl create configmap nginx-conf --from-file=default.conf=./nginx.conf

# 4) 整个目录(目录下每个文件变成一个 key)
kubectl create configmap nginx-conf --from-file=./conf.d/

# 5) YAML(推荐,可进 Git)
apiVersion: v1
kind: ConfigMap
metadata:
  name: app-cfg
  namespace: default
data:
  APP_ENV: prod
  LOG_LEVEL: info
  nginx.conf: |
    server {
      listen 80;
      location / { return 200 "ok\n"; }
    }
# 二进制内容用 binaryData(base64 值)

查看:
kubectl get cm app-cfg -o yaml
kubectl describe cm app-cfg

----------------------------------------------------------------
三、在 Pod 里使用 ConfigMap
----------------------------------------------------------------
【方式 A:单个 key → 环境变量】
env:
- name: APP_ENV
  valueFrom:
    configMapKeyRef:
      name: app-cfg
      key: APP_ENV
      optional: false          # true 则 key 缺失不报错

【方式 B:整个 ConfigMap → 环境变量】
envFrom:
- configMapRef:
    name: app-cfg
- secretRef:
    name: db-secret
  prefix: DB_                 # 可选前缀,避免 key 冲突

坑:
- envFrom 只在容器启动时注入一次,改了 CM 必须重启 Pod
- key 名如果不是合法环境变量名(含 . 或 -)会被跳过且不报错
  (如 nginx.conf 作为 env 名无效,只能挂载)

【方式 C:挂载成文件(最灵活)】
volumes:
- name: cfg
  configMap:
    name: app-cfg
    items:                    # 可选,只挂指定的 key
    - key: nginx.conf
      path: default.conf
      mode: 0644
containers:
- name: nginx
  volumeMounts:
  - name: cfg
    mountPath: /etc/nginx/conf.d
    readOnly: true

【关键坑 1】挂载到目录会"覆盖"该目录原有内容
挂到 /etc/nginx/conf.d 后,镜像里原来的文件看不见了(整个目录被挂载点遮蔽)。
解法:只挂具体文件,见方式 D,或者把镜像原配置也放进 CM。

【方式 D:subPath 只挂单个文件(不覆盖目录)】
volumeMounts:
- name: cfg
  mountPath: /etc/nginx/nginx.conf
  subPath: nginx.conf
  readOnly: true

【关键坑 2】subPath 挂载的文件不会热更新
普通挂载(方式 C)改 CM 后,容器内文件会在 1-2 分钟内更新(kubelet 同步周期 + 缓存 TTL);
subPath 挂载是"绑定挂载",永远不会更新,必须重启 Pod。

【关键坑 3】环境变量永远不会热更新
无论哪种注入方式,环境变量在进程启动时固定。

结论表:
注入方式           热更新   说明
env / envFrom       ✗        必须重启
volume 整目录挂载    ✓        延迟约 1-2 分钟
volume + subPath    ✗        必须重启
应用自己读 API      ✓        需 RBAC,极少用

真正需要热更新的应用(Nginx)通常配 reload:
- 用 inotify 监听文件变化后 nginx -s reload
- 或用 sidecar 轮询 + 调 reload 接口

----------------------------------------------------------------
四、Secret 类型与用法
----------------------------------------------------------------
【类型】
Opaque                   通用(默认),任意 key-value
kubernetes.io/dockerconfigjson   镜像仓库认证
kubernetes.io/tls        TLS 证书(tls.crt + tls.key)
kubernetes.io/basic-auth 用户名密码
kubernetes.io/ssh-auth   SSH 私钥
kubernetes.io/service-account-token  SA token(1.24 后不再自动长期生成)

【创建】
# 字面量
kubectl create secret generic db-secret \
  --from-literal=username=app \
  --from-literal=password='S3cr3t!'

# 从文件(证书、私钥)
kubectl create secret generic tls-raw --from-file=./server.key --from-file=./server.crt

# TLS 专用
kubectl create secret tls web-tls --cert=tls.crt --key=tls.key

# 私有镜像仓库
kubectl create secret docker-registry regcred \
  --docker-server=registry.example.com \
  --docker-username=robot \
  --docker-password='***' \
  --docker-email=ops@example.com

# 或用现有 docker config
kubectl create secret generic regcred \
  --from-file=.dockerconfigjson=$HOME/.docker/config.json \
  --type=kubernetes.io/dockerconfigjson

【YAML 写法】data 里是 base64;希望写明文用 stringData
apiVersion: v1
kind: Secret
metadata:
  name: db-secret
type: Opaque
stringData:               # apiserver 自动帮你 base64
  username: app
  password: S3cr3t!
data:
  old: UzNjcjN0IQ==

【使用】
env:
- name: DB_PASSWORD
  valueFrom:
    secretKeyRef:
      name: db-secret
      key: password
envFrom:
- secretRef: {name: db-secret}
挂载(证书场景):
volumeMounts:
- {name: tls, mountPath: /etc/tls, readOnly: true}
volumes:
- name: tls
  secret: {secretName: web-tls, defaultMode: 0400}

----------------------------------------------------------------
五、"base64 不是加密"——必须理解
----------------------------------------------------------------
echo 'S3NjcjN0IQ==' | base64 -d     # 明文直接出来
任何能 get secret 的人都能看到明文。所以安全靠的是:
1) RBAC 限制谁能 get/list secret(默认 default SA 不应该有权限)
2) etcd 静态加密(落盘加密)
3) 传输 TLS(apiserver 已默认)
4) 生产用外部密钥管理(Vault / KMS / 云 Secret Manager)

【etcd 静态加密配置】
1) 生成密钥
head -c 32 /dev/urandom | base64

2) 写加密配置 /etc/kubernetes/enc/encryption-config.yaml
apiVersion: apiserver.config.k8s.io/v1
kind: EncryptionConfiguration
resources:
- resources:
  - secrets
  - configmaps
  providers:
  - aescbc:
      keys:
      - name: key1
        secret: <上一步的 base64>
  - identity: {}          # 兜底:允许读取未加密的旧数据

3) 改 apiserver 启动参数(kubeadm 集群改 manifest)
--encryption-provider-config=/etc/kubernetes/enc/encryption-config.yaml
并把该文件挂进 apiserver 容器(volumeMounts + hostPath)

4) 重启 apiserver(静态 Pod,改完自动重启)

5) 重写已有 Secret(只影响新写入)
kubectl get secrets -A -o json | kubectl replace -f -

6) 验证
kubectl -n kube-system exec etcd-<node> -- \
  etcdctl --cacert=/etc/kubernetes/pki/etcd/ca.crt \
          --cert=/etc/kubernetes/pki/etcd/server.crt \
          --key=/etc/kubernetes/pki/etcd/server.key \
          get /registry/secrets/default/db-secret | hexdump -C | head
# 看到 k8s:enc:aescbc:v1:key1 前缀即为加密成功

风险提示:encryption-config 丢失 = 所有 Secret 无法解密。
务必备份该文件,且备份要与 etcd 快照分开存放。

----------------------------------------------------------------
六、拉私有镜像:imagePullSecrets
----------------------------------------------------------------
apiVersion: v1
kind: Pod
metadata:
  name: private-app
spec:
  imagePullSecrets:
  - name: regcred
  containers:
  - name: app
    image: registry.example.com/team/app:v1.2.3

Deployment 里同理放在 spec.template.spec.imagePullSecrets。

配到 ServiceAccount 上,则所有用该 SA 的 Pod 自动生效:
kubectl patch sa default -p '{"imagePullSecrets":[{"name":"regcred"}]}'

排查 ImagePullBackOff:
kubectl describe pod <p> | grep -A5 Events
# "unauthorized" → 账号密码错/无权限
# "not found" → 镜像名或 tag 错
# "x509" / "no such host" → 仓库地址不可达/证书问题
# "toomanyrequests" → 触发了 Docker Hub 限流,配镜像加速或登录

containerd 的镜像加速配置(节点级):
/etc/containerd/config.toml
  [plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
    endpoint = ["https://mirror.example.com"]
改完 systemctl restart containerd

----------------------------------------------------------------
七、配置热更新实操
----------------------------------------------------------------
# 1. 建 CM 并挂载
kubectl create cm hot --from-literal=msg=v1
cat > hot.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata: {name: hot}
spec:
  containers:
  - name: app
    image: busybox:1.36
    command: ["sh","-c","while true; do cat /cfg/msg; sleep 10; done"]
    volumeMounts:
    - {name: cfg, mountPath: /cfg}
  volumes:
  - name: cfg
    configMap: {name: hot}
EOF
kubectl apply -f hot.yaml
kubectl logs -f hot            # 看到 v1

# 2. 改 CM
kubectl create cm hot --from-literal=msg=v2 --dry-run=client -o yaml | kubectl apply -f -
# 或 kubectl edit cm hot

# 3. 等 1-2 分钟
kubectl logs -f hot            # 变成 v2(无需重启)
kubectl exec hot -- ls -l /cfg # 注意 ..data 软链接指向新的 timestamp 目录

# 4. 对比 subPath
#    把挂载改成 subPath: msg,再试一次 → 永远 v1,必须重启

----------------------------------------------------------------
八、不可变配置 immutable
----------------------------------------------------------------
apiVersion: v1
kind: ConfigMap
metadata: {name: app-cfg-v1}
immutable: true
data: {APP_ENV: prod}

好处:kubelet 不再 watch 该对象,大集群下显著降低 apiserver 负载。
代价:内容不能改,只能新建 + 改引用(滚动更新)。
适合"随镜像版本一起变的配置",配合版本号命名 app-cfg-v1 / app-cfg-v2。

----------------------------------------------------------------
九、生产最佳实践
----------------------------------------------------------------
1) ConfigMap/Secret 用 YAML 进 Git,Secret 加密后用 SealedSecrets / SOPS
2) 绝不把明文 Secret 提交仓库,也绝不 base64 一下就当加密
3) 应用启动时校验必需配置是否存在(optional: false + 启动即失败)
4) 命名带版本:app-cfg-v3,配合 immutable,回滚简单
5) 用 External Secrets Operator 从 Vault/AWS SM 同步,Secret 不进 Git
6) 定期审计谁能读 Secret:
   kubectl auth can-i get secrets --as=system:serviceaccount:default:default
7) 证书类 Secret 用 cert-manager 自动续期
8) 改 CM 后记得 rollout restart(env 注入的场景)

----------------------------------------------------------------
十、Day 06 自检清单
----------------------------------------------------------------
[ ] 四种 ConfigMap 创建方式都能跑通
[ ] 能说出 env / envFrom / 挂载 / subPath 四者的热更新差异
[ ] 遇到过"挂载覆盖整个目录"的坑并能解决
[ ] 会用 stringData 写明文 Secret
[ ] 能证明 base64 不是加密
[ ] 完成 imagePullSecrets 拉私有镜像
[ ] 亲手验证整目录挂载热更新(1-2 分钟内生效)
[ ] 知道 etcd 静态加密的配置路径和验证方法

常见坑:
- envFrom 引用了含非法字符的 key,静默跳过,容器里没这个变量
- 挂载 CM 到 /etc/nginx 导致原配置全丢,Nginx 启动失败
- 用 subPath 挂配置还指望热更新
- 改完 CM/Secret 没重启 Pod,以为没生效
- Secret 的 key 大小写写错(区分大小写)
- 多命名空间的 Pod 引用了别的 ns 的 CM → 找不到(CM 不能跨 ns)
- etcd 加密配置改错导致 apiserver 起不来(改前务必备份)

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。