记一次华为云ECS下PostgreSQL报FATAL: sorry, too many clients already排查与连接
今天线上打响警报,华为云 ECS 上自建的 PostgreSQL 15 数据库实例突然告警,后台接口出现大量 HTTP 500 报错,日志提示:FATAL: sorry, too many clients already。作为一线后端/运维工程师,第一反应就是数据库连接数爆了。
1. 问题排查
紧急 SSH 登录该 ECS 实例,使用 psql 命令行工具连入数据库,执行连接状态统计 SQL:
SELECT state, usename, count(*) FROM pg_stat_activity GROUP BY state, usename;
查询结果令人吃惊:大量连接处于 idle 和 idle in transaction 状态,直接吃满了默认的 max_connections = 100 限额。特别是 idle in transaction 僵死事务连接,由于微服务某些异步逻辑未显式提交事务或异常退出,导致连接被挂起无法释放。
2. 应急处理
为了迅速恢复服务,避免影响业务,先用系统函数杀掉挂起时间超过 5 分钟的僵死事务连接:
SELECT pg_terminate_backend(pid) FROM pg_stat_activity WHERE state = 'idle in transaction' AND state_change < current_timestamp - INTERVAL '5 minutes';
清理后,连接数迅速回落,接口 500 告警暂时解除。
3. 治本配置调优与 Go 连接池优化
杀连接只是治标,必须从数据库服务配置和应用侧连接池两端进行治本。
数据库端配置调优 (postgresql.conf):
适当放大最大连接数,并设置空闲事务超时自动断开:
max_connections = 300
idle_in_transaction_session_timeout = '30s'
修改后执行 pg_ctl reload 或在 psql 中 SELECT pg_reload_conf(); 使配置生效。
后端服务侧 (Go database/sql) 连接池调优:
检查 Go 服务配置,此前没有合理限制 SetMaxOpenConns,导致高并发时微服务不断向数据库新建连接。优化后的初始化代码片段如下:
package main
import (
"database/sql"
"log"
"time"
_ "github.com/lib/pq"
)
func initDB(dsn string) (*sql.DB, error) {
db, err := sql.Open("postgres", dsn)
if err != nil {
return nil, err
}
// 设置连接池参数
db.SetMaxOpenConns(40) // 限制单个服务节点最大打开连接数
db.SetMaxIdleConns(10) // 最大空闲连接数
db.SetConnMaxIdleTime(5 * time.Minute) // 连接最大空闲保持时间
if err := db.Ping(); err != nil {
return nil, err
}
log.Println("PostgreSQL 数据库连接池初始化成功")
return db, nil
}
通过这一套排查与调优组合拳,成功解决了 PostgreSQL 连接数爆满的问题,后续持续监控连接数平稳在 30 左右,系统运行稳定。
- 点赞
- 收藏
- 关注作者
评论(0)