企业 LLM 大模型私有化平台容器集群运维项目

项目背景：

公司内部搭建私有化大模型智能客服、文档问答平台，替代公有大模型，保障企业内部合同、流程、图纸数据安全；平台承载研发、行政、财务多部门调用，日均接口请求 3000 次。原有单机部署存在算力分配不均、文件权限混乱、服务频繁 403 访问报错、无统一备份容灾、故障定位慢等问题，由我独立负责整套容器集群、存储、监控、灾备、自动化运维体系搭建落地。

项目架构：

CentOS7 + Docker + K8s 1.24 + ingress-nginx + Calico 网络想

NFS 共享存储 + PV/PVC 持久化存储

MySQL8.0（主从）+ Redis 缓存集群

Prometheus+Grafana+AlertManager 全链路监控

Shell+Ansible 自动化运维，定时数据备份灾备方案

个人职责：

• 集群高可用部署与双机 / 多节点调度
  
  
  独立搭建 3 节点生产 K8s 集群，完成服务器初始化、内核调优、时间同步、ssh 免密批量管控；配置节点污点、资源配额，均衡大模型推理算力负载，实现服务多副本高可用，支撑业务 7×24 稳定运行，对应 OA 双机热备运维思路。
• 统一共享存储与权限治理，解决访问异常
  
  
  搭建 NFS 共享存储作为模型文件、业务附件持久化载体，标准化 PV/PVC 挂载配置，统一目录读写权限，彻底解决 Pod 挂载崩溃、页面 403/404 随机报错；使用 Rsync 实现跨节点模型文件、附件自动同步，和泛微 OA 附件存储运维场景高度一致。
• 数据库中间件运维与数据灾备
  
  
  搭建 MySQL 一主多从集群、Redis 缓存集群，编写 Shell 定时全量 + 增量备份脚本，自动留存 7 天备份文件，定期执行数据恢复演练；优化慢查询、清理过期日志，规避数据丢失风险，适配 OA 数据库备份、灾备工作要求；熟悉达梦、高斯国产数据库，可快速完成国产化适配改造。
• 自动化批量运维体系落地
  
  
  基于 Ansible 编写 Playbook 批量脚本，覆盖集群所有节点，实现配置一键下发、服务批量发布；自研 Shell 磁盘使用率、进程存活告警脚本，提前预警磁盘占满隐患，减少人工日常巡检工作量。
• 全维度监控告警平台搭建
  
  
  部署 Prometheus + 各类 Exporter 采集服务器、容器、数据库、模型接口指标，制作 20 + 可视化大盘；配置分级告警收敛规则，过滤无效告警，故障短信 / 企业微信推送，缩短线上问题排查时间。
• 网络与接口同步问题优化
  
  
  通过 Calico 规划集群网段、配置网络访问策略，优化 CoreDNS 域名解析，解决高峰期接口卡顿、跨服务数据同步失败问题，积累多系统数据联调、接口排错经验，可支撑 OA 对接 ERP/PLM 系统集成工作。
• 容器镜像标准化管理
  
  
  采用 Docker 多阶段分层构建大模型镜像，搭建私有 Harbor 镜像仓库，规范镜像版本推送、清理策略，减小镜像体积，加速节点拉取速度，降低存储资源消耗。