2核2G 跑采集服务够用吗:Flexus L 部署与运维实录

举报
yd_277938722 发表于 2026/11/15 14:13:17 2026/11/15
【摘要】 一、为什么最终选了小规格给一个内部工具选机器,第一反应往往是「先买大的,免得不够用」。但这类常年在线、低频访问的采集/巡检型服务,真正的成本瓶颈不在 CPU 峰值,而在每月续费单价:同样一笔预算,规格翻倍往往意味着可用时长腰断——这是一笔很不划算的交易。所以这台机器我选了华为云 Flexus L 的 2 核 2 GiB / 40 GiB 系统盘 / 1 TB 月流量,月付 36.80 元。...

一、为什么最终选了小规格

给一个内部工具选机器,第一反应往往是「先买大的,免得不够用」。但这类常年在线、低频访问的采集/巡检型服务,真正的成本瓶颈不在 CPU 峰值,而在每月续费单价:同样一笔预算,规格翻倍往往意味着可用时长腰断——这是一笔很不划算的交易。

所以这台机器我选了华为云 Flexus L 的 2 核 2 GiB / 40 GiB 系统盘 / 1 TB 月流量,月付 36.80 元。

跑了一个多月后回看,这个选择是对的。实测数据:

指标 实测值
负载(1/5/15 分钟) 0.00 / 0.00 / 0.00
内存占用 553 MiB(可用 1221 MiB)
Swap 0 B / 3 GiB(一次未用)
磁盘 7.9 GiB / 40 GiB(21%)
数据库文件 344 KiB
日志 4.9 MiB(已轮转)

结论先说:2 核 2 GiB 对「定时采集 + 轻量面板」这类负载是明显过剩的,瓶颈永远先出现在对端站点的反爬和超时上,而不是在本机算力上。

二、整体架构

刻意做成单机闭环,没有引入任何额外组件:

  • 运行时:Python 3.12 + venv 隔离
  • Web 层:Flask,只监听 127.0.0.1:5000
  • 反向代理:nginx 监听 80,转发到 5000
  • 数据:SQLite 单文件,站点登录态也存库里
  • 进程守护:systemd
  • 日志:按天切割,单文件 20 MB 上限,保留 7 天

为什么用 SQLite 而不是 MySQL:单进程写入、数据量小、备份就是拷一个文件,冷备成本几乎为零。多一个数据库进程,就多一份内存和一份运维负担。

三、部署要点

1. venv 隔离

sudo mkdir -p /opt/info_aggregator
sudo python3 -m venv /opt/info_aggregator/venv
/opt/info_aggregator/venv/bin/pip install -r requirements.txt

不要图省事直接 pip install 到系统环境。Ubuntu 24.04 起系统 Python 受 PEP 668 保护,强行安装很容易和发行版包互相踩。

2. systemd 守护

[Unit]
Description=info aggregator
After=network-online.target

[Service]
Type=simple
WorkingDirectory=/opt/info_aggregator
ExecStart=/opt/info_aggregator/venv/bin/python app.py
Restart=always
RestartSec=5

[Install]
WantedBy=multi-user.target

Restart=always 加上 RestartSec=5 是这套服务稳定的关键。采集类程序经常因为对端返回异常而退出,崩了就崩了,5 秒后自己起来即可,不需要人工介入。

3. nginx 反代,把 5000 关进内网

server {
    listen 80;
    server_name _;

    location / {
        proxy_pass http://127.0.0.1:5000;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}

这一步最大的价值不是性能,而是安全:应用端口只绑 127.0.0.1,公网只能进来 80。验证方式:

ss -lntp | grep -E ':(80|5000)'
# 期望:80 监听 0.0.0.0,5000 监听 127.0.0.1

如果看到 5000 绑在 0.0.0.0,说明 Flask 启动时错误地用了 host="0.0.0.0",等于把后台直接暴露在公网。

4. 日志必须轮转

采集类服务的日志会稳定增长,不轮转迟早把盘写满,而盘满的第一受害者是 SQLite。

/opt/info_aggregator/data/*.log {
    daily
    rotate 7
    size 20M
    missingok
    notifempty
    compress
    copytruncate
}

用 copytruncate 是因为进程一直持有文件句柄,直接 mv 会导致后续日志写进已删除的 inode。

四、三个真实的坑

坑一:两份配置互相覆盖

项目里同时存在 config.yaml 和 notify.yaml,负责推送的那段代码读的是后者,而运维习惯改的是前者。结果是「配置改了但推送内容没变」,排查了两轮才定位。

结论:配置入口只能有一个。如果真的需要拆分文件,就在启动时做一次合并并打印最终生效配置的摘要,让「改没改上」一眼可见。

坑二:首次启动 30 到 90 秒没有端口

服务启动时会先同步跑一轮全量采集,再开始 listen。这段时间 systemd 显示 active (running),但端口还没起来,很容易被误判成卡死然后被 kill 掉重启,陷入死循环。

正确做法是把「预热」和「监听」分开:先拉起来监听健康检查,采集放到后台线程或独立的 timer 里。

坑三:双机同跑,重复推送

迁移期间新旧两台机器同时在线,结果同一个新品被推了两遍。采集任务大多没有跨实例的幂等锁,靠数据库里的「已推送」标记去重,两台机器各自的库互不可见。

结论:迁移脚本必须包含「停旧机」这一步,并且顺序不能反。正确顺序是:新机导数据 -> 新机验证 -> 停旧机 -> 新机接管推送。

五、迁移这件事,最好提前写成脚本

这台机器一个多月里迁过两次。第一次手工操作,漏了 venv 里的依赖和 systemd 单元;第二次就固化成两个脚本:

  • migrate-export.sh:打包代码、venv 指纹、systemd 单元、nginx 配置、数据库、凭据目录
  • migrate-import.sh:还原目录、重建 venv、重装单元文件、重载 nginx

迁移包 8 MB 左右,传过去解压两条命令就能起来。另外本地固定留一份冷备:凭据目录 tar 包 + 数据库快照,跟日期一起命名。

一次真实的迁移耗时:导出 20 秒,传输 15 秒,导入 40 秒,验证 1 分钟。能不能快速恢复,取决于你有没有提前写这两个脚本,而不取决于你多熟练。

六、顺手做掉的几件安全小事

  • 应用端口不对外,只留 nginx 的 80
  • 面板加访问 token,无 token 直接返回 401(不要用「隐藏入口」当安全)
  • 凭据目录 chmod 700,不要和代码放同一层
  • 数据库和日志不要放在 Web 可访问目录下
  • 定时任务和备份脚本都要能从零重建,别只存在于某个人的终端历史里

七、结论

2 核 2 GiB 跑这类服务完全够用,甚至过剩。选型时真正要想清楚的是三件事:

  1. 负载形态:是持续计算,还是低频定时?后者对小规格极其友好。
  2. 续费单价:规格翻倍往往让同样的钱买到的运行时间腰断,这才是隐性成本。
  3. 可迁移性:把迁移写成脚本,比把机器配置堆高更能提升「存活率」。

机器是租的,服务是自己的。把服务做成「换个地方两条命令就能跑起来」的形态,比纠结买多大规格划算得多。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。