并发 apply 后我恢复 Terraform 状态记录
故障发生和状态打裂过程
10 月 17 日 13:50,我在华为云北京四区处理 dev 环境日常变更。Terraform 是 1.6.6,provider 是 huaweicloud 1.63.1,资源总数 29。里面有 6 台 ECS,规格 s7n.large.2,2 vCPU/4 GiB,系统盘 40 GiB ESSD;1 个共享型 ELB;3 个按量 EIP;1 个 RDS for MySQL 8.0。状态文件在 OBS 桶 iac-state-prod,key 写死为 orders/dev/terraform.tfstate。桶开了 SSE-KMS 和版本控制,KMS 用区域托管密钥,版本控制开通时间是 9 月 6 日 21:14。
我值班机是 Ubuntu 22.04 的 ECS,4 vCPU/8 GiB,公网 5M。工具版本我后来都核过,terraform 1.6.6、obsutil 5.5.12、jq 1.6、huaweicloud CLI 3.0.87。命令全在 tmux 会话里跑,history 打了 HISTTIMEFORMAT='%F %T ',这个细节帮我把分钟线对齐了,不然很多动作会互相覆盖。
这个环境当时没有任何并发保护。
backend 当时只有 bucket、key、endpoint、encrypt 四个字段,连 region 都没填,也没有锁文件。团队里 3 个人手上都保留了 AK/SK,默认 profile 都有 PutObject 权限,本地能直接 terraform apply 和 terraform state push。我一开始觉得不妥,后来为了赶联调窗口没改,现在回头看这一步就是埋雷。
14:03 我提交的是安全组标签修正,命令是 terraform apply -auto-approve -parallelism=10,18 秒结束,输出 Apply complete! Resources: 0 added, 2 changed, 0 destroyed.。14:07 我跑了 terraform state pull | jq '.serial,.lineage,.resources|length',得到 serial=124,lineage=2b6d6e0f-...,resources length=29,当时看着完全正常。
14:11 同事为查业务日志,把一块 EVS 数据盘从 60 GiB 扩到 100 GiB,他没走 Terraform,直接跑 CLI:
hcloud EVS UpdateVolume --cli-region=cn-north-4 --volume_id 1d2c6eab-... --body '{"os-extend":{"new_size":100}}'
{
"job_id": "ff8080828b...",
"volume_id": "1d2c6eab-..."
}
14:18 他本地 terraform plan 直接飘红,摘要是 Plan: 17 to add, 0 to change, 0 to destroy,并夹着 size changed from 60 to 100、tags mismatch、listener not found。他当时想把“看起来干净”的旧备份推回去,执行了 terraform state push -force terraform.tfstate.backup,终端回了 State successfully pushed!。这个备份是两天前的,serial 只有 118,资源条目 23。
14:22 我这边再跑 plan,还是 17 to add,紧接着 apply 报了两类错同时出现:
Error: Error creating Security Group Rule: status code: 409, request id: 7b5c9d4f4d8e3a2d7e...
error code: VPC.0605
error message: Security group rule already exists
Error: reading ELB listener (8f2d...): status code: 404
error code: ELB.8907
message: Listener does not exist
我当时先怀疑 provider 抽风,这判断错了。
14:29 到 14:56 我走了一条失败路线,想直接 import 把洞补上,不回滚 state。前两条命令看似成功:terraform import huaweicloud_networking_secgroup_rule.web_8080 7f6a3f8c-...、terraform import huaweicloud_evs_volume.log_disk 1d2c6eab-...,第三条 listener 我从控制台复制错了负载均衡,报 Cannot import non-existent remote object。我改了 ID 再导入,plan 还是 15 to add,并且出现 -/+ resource "huaweicloud_lb_listener" ... forces replacement。这 27 分钟基本白干,还把现场信息搅得更乱。
我怎么恢复、后来怎么收口
14:56 我在值班群直接发冻结消息:“30 分钟内不要 apply,不要改控制台,不要再用 hcloud 改 dev 资源”。我只给动作,不讲原因,先把写入面停住。
15:02 我去 OBS 查对象版本,按 LastModified 对齐时间点。obsutil ls -v obs://iac-state-prod/orders/dev/terraform.tfstate 列出来 14:07 的对象大小是 186 KB,versionId=3L4k...;14:18 被覆盖后的对象 171 KB,versionId=3L4h...。我分别拉到本地:
obsutil cp obs://iac-state-prod/orders/dev/terraform.tfstate ./state-124.tfstate --versionId=3L4k...
obsutil cp obs://iac-state-prod/orders/dev/terraform.tfstate ./state-118.tfstate --versionId=3L4h...
jq '.serial,.lineage,.resources|length' state-124.tfstate
jq '.serial,.lineage,.resources|length' state-118.tfstate
两个文件 lineage 一样,serial 和资源数不同,说明不是换环境,是同一条历史链被旧版本回写。我在 15:11 执行 terraform state push state-124.tfstate,没加 force。为了减少 API 抖动,我把 refresh 并发从 10 降到 5,命令是 terraform plan -refresh-only -parallelism=5 -lock-timeout=3m,输出变成 0 to add, 11 to change, 0 to destroy,方向回来了。
我只改了确定有漂移的项。EVS size 改成变量 log_volume_size = 100;EIP 标签统一成小写 key,把 Owner 改成 owner;ELB listener 的 description 去掉控制台自动补的尾部空格。我还把一处资源地址从 huaweicloud_lb_listener.api_http 对齐到模块地址 module.gateway.huaweicloud_lb_listener.api_http[0],不改这个地址,plan 每次都会提示新建。
15:20 到 16:32 我补了 11 条 import,最费时间的是 listener 同名问题。我最后用 hcloud ELB ListListeners --loadbalancer_id ... 先取到 listener_id,再导入,避免继续抄错。16:39 plan 收敛到 0 to add, 2 to change, 0 to destroy;17:01 apply 完成;17:08 我再跑一次 plan,结果全零。报警到恢复共 3 小时 18 分钟。
费用我也算了。误创建 ECS 1 台,运行 43 分钟,单价 0.198 元/小时,折 0.14 元;5M EIP 多挂了 2 小时 6 分,0.96 元;额外 40 GiB EVS 挂了 2 小时,1.37 元,总计 2.47 元。金额不大,处理成本才是真的高。
后面的收口我做得很硬。backend 改成 S3 锁文件模式,新增 region = "cn-north-4" 和 use_lockfile = true,锁对象就是 orders/dev/terraform.tfstate.tflock。我故意在两个终端同时 apply,第二个终端报 Error acquiring the state lock,错误里能看到持锁人和路径,说明并发写被拦住了。
OBS 桶策略也改了,CI 角色保留 GetObject/PutObject/DeleteObject 到 state 和 lock 两个对象,个人 AK 只给 GetObject。策略生效后,同事本地执行 terraform state push 会得到 status code: 403, AccessDenied。每天 22:30 GitLab Schedule 触发 terraform plan -refresh-only -detailed-exitcode,exit code=2 就发 SMN 到值班群。
drift 自动修复我还没做完,我在试把华为云 Config 事件转成 import 清单,脚本已经能映射 ECS、EVS、EIP,但 ELB listener 事件里经常不给 listener_id,只给 loadbalancer_id,导致生成命令缺参数,我准备补一层 ELB API 查询再跑 dry-run。
这块我下周还要返工。
- 点赞
- 收藏
- 关注作者
评论(0)