DAY 06 —— ConfigMap 与 Secret 配置管理
================================================================
DAY 06 —— ConfigMap 与 Secret 配置管理
================================================================
【学习目标】
1. 掌握 ConfigMap 的四种创建方式
2. 分清 env / envFrom / 挂载 / subPath 四种用法及各自的坑
3. 理解 Secret 类型与"base64 不是加密"
4. 会配 etcd 静态加密、会用 imagePullSecrets 拉私有镜像
5. 验证配置热更新,知道哪些能热更、哪些不能
----------------------------------------------------------------
一、为什么要把配置从镜像里拿出来
----------------------------------------------------------------
镜像 = 不可变制品。配置写进镜像的后果:
- 改一行配置要重新构建、推送、拉取、重启
- 同一份镜像无法在 dev/prod 复用
- 密码进了镜像层,谁拉下来都能看到
ConfigMap(非敏感) + Secret(敏感)把配置外置,镜像才能"一次构建,到处运行"。
----------------------------------------------------------------
二、ConfigMap 四种创建方式
----------------------------------------------------------------
# 1) 字面量
kubectl create configmap app-cfg \
--from-literal=APP_ENV=prod \
--from-literal=LOG_LEVEL=info
# 2) 单个文件(key = 文件名,value = 内容)
kubectl create configmap nginx-conf --from-file=./nginx.conf
# 3) 指定 key 名
kubectl create configmap nginx-conf --from-file=default.conf=./nginx.conf
# 4) 整个目录(目录下每个文件变成一个 key)
kubectl create configmap nginx-conf --from-file=./conf.d/
# 5) YAML(推荐,可进 Git)
apiVersion: v1
kind: ConfigMap
metadata:
name: app-cfg
namespace: default
data:
APP_ENV: prod
LOG_LEVEL: info
nginx.conf: |
server {
listen 80;
location / { return 200 "ok\n"; }
}
# 二进制内容用 binaryData(base64 值)
查看:
kubectl get cm app-cfg -o yaml
kubectl describe cm app-cfg
----------------------------------------------------------------
三、在 Pod 里使用 ConfigMap
----------------------------------------------------------------
【方式 A:单个 key → 环境变量】
env:
- name: APP_ENV
valueFrom:
configMapKeyRef:
name: app-cfg
key: APP_ENV
optional: false # true 则 key 缺失不报错
【方式 B:整个 ConfigMap → 环境变量】
envFrom:
- configMapRef:
name: app-cfg
- secretRef:
name: db-secret
prefix: DB_ # 可选前缀,避免 key 冲突
坑:
- envFrom 只在容器启动时注入一次,改了 CM 必须重启 Pod
- key 名如果不是合法环境变量名(含 . 或 -)会被跳过且不报错
(如 nginx.conf 作为 env 名无效,只能挂载)
【方式 C:挂载成文件(最灵活)】
volumes:
- name: cfg
configMap:
name: app-cfg
items: # 可选,只挂指定的 key
- key: nginx.conf
path: default.conf
mode: 0644
containers:
- name: nginx
volumeMounts:
- name: cfg
mountPath: /etc/nginx/conf.d
readOnly: true
【关键坑 1】挂载到目录会"覆盖"该目录原有内容
挂到 /etc/nginx/conf.d 后,镜像里原来的文件看不见了(整个目录被挂载点遮蔽)。
解法:只挂具体文件,见方式 D,或者把镜像原配置也放进 CM。
【方式 D:subPath 只挂单个文件(不覆盖目录)】
volumeMounts:
- name: cfg
mountPath: /etc/nginx/nginx.conf
subPath: nginx.conf
readOnly: true
【关键坑 2】subPath 挂载的文件不会热更新
普通挂载(方式 C)改 CM 后,容器内文件会在 1-2 分钟内更新(kubelet 同步周期 + 缓存 TTL);
subPath 挂载是"绑定挂载",永远不会更新,必须重启 Pod。
【关键坑 3】环境变量永远不会热更新
无论哪种注入方式,环境变量在进程启动时固定。
结论表:
注入方式 热更新 说明
env / envFrom ✗ 必须重启
volume 整目录挂载 ✓ 延迟约 1-2 分钟
volume + subPath ✗ 必须重启
应用自己读 API ✓ 需 RBAC,极少用
真正需要热更新的应用(Nginx)通常配 reload:
- 用 inotify 监听文件变化后 nginx -s reload
- 或用 sidecar 轮询 + 调 reload 接口
----------------------------------------------------------------
四、Secret 类型与用法
----------------------------------------------------------------
【类型】
Opaque 通用(默认),任意 key-value
kubernetes.io/dockerconfigjson 镜像仓库认证
kubernetes.io/tls TLS 证书(tls.crt + tls.key)
kubernetes.io/basic-auth 用户名密码
kubernetes.io/ssh-auth SSH 私钥
kubernetes.io/service-account-token SA token(1.24 后不再自动长期生成)
【创建】
# 字面量
kubectl create secret generic db-secret \
--from-literal=username=app \
--from-literal=password='S3cr3t!'
# 从文件(证书、私钥)
kubectl create secret generic tls-raw --from-file=./server.key --from-file=./server.crt
# TLS 专用
kubectl create secret tls web-tls --cert=tls.crt --key=tls.key
# 私有镜像仓库
kubectl create secret docker-registry regcred \
--docker-server=registry.example.com \
--docker-username=robot \
--docker-password='***' \
--docker-email=ops@example.com
# 或用现有 docker config
kubectl create secret generic regcred \
--from-file=.dockerconfigjson=$HOME/.docker/config.json \
--type=kubernetes.io/dockerconfigjson
【YAML 写法】data 里是 base64;希望写明文用 stringData
apiVersion: v1
kind: Secret
metadata:
name: db-secret
type: Opaque
stringData: # apiserver 自动帮你 base64
username: app
password: S3cr3t!
data:
old: UzNjcjN0IQ==
【使用】
env:
- name: DB_PASSWORD
valueFrom:
secretKeyRef:
name: db-secret
key: password
envFrom:
- secretRef: {name: db-secret}
挂载(证书场景):
volumeMounts:
- {name: tls, mountPath: /etc/tls, readOnly: true}
volumes:
- name: tls
secret: {secretName: web-tls, defaultMode: 0400}
----------------------------------------------------------------
五、"base64 不是加密"——必须理解
----------------------------------------------------------------
echo 'S3NjcjN0IQ==' | base64 -d # 明文直接出来
任何能 get secret 的人都能看到明文。所以安全靠的是:
1) RBAC 限制谁能 get/list secret(默认 default SA 不应该有权限)
2) etcd 静态加密(落盘加密)
3) 传输 TLS(apiserver 已默认)
4) 生产用外部密钥管理(Vault / KMS / 云 Secret Manager)
【etcd 静态加密配置】
1) 生成密钥
head -c 32 /dev/urandom | base64
2) 写加密配置 /etc/kubernetes/enc/encryption-config.yaml
apiVersion: apiserver.config.k8s.io/v1
kind: EncryptionConfiguration
resources:
- resources:
- secrets
- configmaps
providers:
- aescbc:
keys:
- name: key1
secret: <上一步的 base64>
- identity: {} # 兜底:允许读取未加密的旧数据
3) 改 apiserver 启动参数(kubeadm 集群改 manifest)
--encryption-provider-config=/etc/kubernetes/enc/encryption-config.yaml
并把该文件挂进 apiserver 容器(volumeMounts + hostPath)
4) 重启 apiserver(静态 Pod,改完自动重启)
5) 重写已有 Secret(只影响新写入)
kubectl get secrets -A -o json | kubectl replace -f -
6) 验证
kubectl -n kube-system exec etcd-<node> -- \
etcdctl --cacert=/etc/kubernetes/pki/etcd/ca.crt \
--cert=/etc/kubernetes/pki/etcd/server.crt \
--key=/etc/kubernetes/pki/etcd/server.key \
get /registry/secrets/default/db-secret | hexdump -C | head
# 看到 k8s:enc:aescbc:v1:key1 前缀即为加密成功
风险提示:encryption-config 丢失 = 所有 Secret 无法解密。
务必备份该文件,且备份要与 etcd 快照分开存放。
----------------------------------------------------------------
六、拉私有镜像:imagePullSecrets
----------------------------------------------------------------
apiVersion: v1
kind: Pod
metadata:
name: private-app
spec:
imagePullSecrets:
- name: regcred
containers:
- name: app
image: registry.example.com/team/app:v1.2.3
Deployment 里同理放在 spec.template.spec.imagePullSecrets。
配到 ServiceAccount 上,则所有用该 SA 的 Pod 自动生效:
kubectl patch sa default -p '{"imagePullSecrets":[{"name":"regcred"}]}'
排查 ImagePullBackOff:
kubectl describe pod <p> | grep -A5 Events
# "unauthorized" → 账号密码错/无权限
# "not found" → 镜像名或 tag 错
# "x509" / "no such host" → 仓库地址不可达/证书问题
# "toomanyrequests" → 触发了 Docker Hub 限流,配镜像加速或登录
containerd 的镜像加速配置(节点级):
/etc/containerd/config.toml
[plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
endpoint = ["https://mirror.example.com"]
改完 systemctl restart containerd
----------------------------------------------------------------
七、配置热更新实操
----------------------------------------------------------------
# 1. 建 CM 并挂载
kubectl create cm hot --from-literal=msg=v1
cat > hot.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata: {name: hot}
spec:
containers:
- name: app
image: busybox:1.36
command: ["sh","-c","while true; do cat /cfg/msg; sleep 10; done"]
volumeMounts:
- {name: cfg, mountPath: /cfg}
volumes:
- name: cfg
configMap: {name: hot}
EOF
kubectl apply -f hot.yaml
kubectl logs -f hot # 看到 v1
# 2. 改 CM
kubectl create cm hot --from-literal=msg=v2 --dry-run=client -o yaml | kubectl apply -f -
# 或 kubectl edit cm hot
# 3. 等 1-2 分钟
kubectl logs -f hot # 变成 v2(无需重启)
kubectl exec hot -- ls -l /cfg # 注意 ..data 软链接指向新的 timestamp 目录
# 4. 对比 subPath
# 把挂载改成 subPath: msg,再试一次 → 永远 v1,必须重启
----------------------------------------------------------------
八、不可变配置 immutable
----------------------------------------------------------------
apiVersion: v1
kind: ConfigMap
metadata: {name: app-cfg-v1}
immutable: true
data: {APP_ENV: prod}
好处:kubelet 不再 watch 该对象,大集群下显著降低 apiserver 负载。
代价:内容不能改,只能新建 + 改引用(滚动更新)。
适合"随镜像版本一起变的配置",配合版本号命名 app-cfg-v1 / app-cfg-v2。
----------------------------------------------------------------
九、生产最佳实践
----------------------------------------------------------------
1) ConfigMap/Secret 用 YAML 进 Git,Secret 加密后用 SealedSecrets / SOPS
2) 绝不把明文 Secret 提交仓库,也绝不 base64 一下就当加密
3) 应用启动时校验必需配置是否存在(optional: false + 启动即失败)
4) 命名带版本:app-cfg-v3,配合 immutable,回滚简单
5) 用 External Secrets Operator 从 Vault/AWS SM 同步,Secret 不进 Git
6) 定期审计谁能读 Secret:
kubectl auth can-i get secrets --as=system:serviceaccount:default:default
7) 证书类 Secret 用 cert-manager 自动续期
8) 改 CM 后记得 rollout restart(env 注入的场景)
----------------------------------------------------------------
十、Day 06 自检清单
----------------------------------------------------------------
[ ] 四种 ConfigMap 创建方式都能跑通
[ ] 能说出 env / envFrom / 挂载 / subPath 四者的热更新差异
[ ] 遇到过"挂载覆盖整个目录"的坑并能解决
[ ] 会用 stringData 写明文 Secret
[ ] 能证明 base64 不是加密
[ ] 完成 imagePullSecrets 拉私有镜像
[ ] 亲手验证整目录挂载热更新(1-2 分钟内生效)
[ ] 知道 etcd 静态加密的配置路径和验证方法
常见坑:
- envFrom 引用了含非法字符的 key,静默跳过,容器里没这个变量
- 挂载 CM 到 /etc/nginx 导致原配置全丢,Nginx 启动失败
- 用 subPath 挂配置还指望热更新
- 改完 CM/Secret 没重启 Pod,以为没生效
- Secret 的 key 大小写写错(区分大小写)
- 多命名空间的 Pod 引用了别的 ns 的 CM → 找不到(CM 不能跨 ns)
- etcd 加密配置改错导致 apiserver 起不来(改前务必备份)
- 点赞
- 收藏
- 关注作者
评论(0)