2核2G 跑采集服务够用吗:Flexus L 部署与运维实录
一、为什么最终选了小规格
给一个内部工具选机器,第一反应往往是「先买大的,免得不够用」。但这类常年在线、低频访问的采集/巡检型服务,真正的成本瓶颈不在 CPU 峰值,而在每月续费单价:同样一笔预算,规格翻倍往往意味着可用时长腰断——这是一笔很不划算的交易。
所以这台机器我选了华为云 Flexus L 的 2 核 2 GiB / 40 GiB 系统盘 / 1 TB 月流量,月付 36.80 元。
跑了一个多月后回看,这个选择是对的。实测数据:
| 指标 | 实测值 |
|---|---|
| 负载(1/5/15 分钟) | 0.00 / 0.00 / 0.00 |
| 内存占用 | 553 MiB(可用 1221 MiB) |
| Swap | 0 B / 3 GiB(一次未用) |
| 磁盘 | 7.9 GiB / 40 GiB(21%) |
| 数据库文件 | 344 KiB |
| 日志 | 4.9 MiB(已轮转) |
结论先说:2 核 2 GiB 对「定时采集 + 轻量面板」这类负载是明显过剩的,瓶颈永远先出现在对端站点的反爬和超时上,而不是在本机算力上。
二、整体架构
刻意做成单机闭环,没有引入任何额外组件:
- 运行时:Python 3.12 + venv 隔离
- Web 层:Flask,只监听
127.0.0.1:5000 - 反向代理:nginx 监听 80,转发到 5000
- 数据:SQLite 单文件,站点登录态也存库里
- 进程守护:systemd
- 日志:按天切割,单文件 20 MB 上限,保留 7 天
为什么用 SQLite 而不是 MySQL:单进程写入、数据量小、备份就是拷一个文件,冷备成本几乎为零。多一个数据库进程,就多一份内存和一份运维负担。
三、部署要点
1. venv 隔离
sudo mkdir -p /opt/info_aggregator
sudo python3 -m venv /opt/info_aggregator/venv
/opt/info_aggregator/venv/bin/pip install -r requirements.txt
不要图省事直接 pip install 到系统环境。Ubuntu 24.04 起系统 Python 受 PEP 668 保护,强行安装很容易和发行版包互相踩。
2. systemd 守护
[Unit]
Description=info aggregator
After=network-online.target
[Service]
Type=simple
WorkingDirectory=/opt/info_aggregator
ExecStart=/opt/info_aggregator/venv/bin/python app.py
Restart=always
RestartSec=5
[Install]
WantedBy=multi-user.target
Restart=always 加上 RestartSec=5 是这套服务稳定的关键。采集类程序经常因为对端返回异常而退出,崩了就崩了,5 秒后自己起来即可,不需要人工介入。
3. nginx 反代,把 5000 关进内网
server {
listen 80;
server_name _;
location / {
proxy_pass http://127.0.0.1:5000;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}
这一步最大的价值不是性能,而是安全:应用端口只绑 127.0.0.1,公网只能进来 80。验证方式:
ss -lntp | grep -E ':(80|5000)'
# 期望:80 监听 0.0.0.0,5000 监听 127.0.0.1
如果看到 5000 绑在 0.0.0.0,说明 Flask 启动时错误地用了 host="0.0.0.0",等于把后台直接暴露在公网。
4. 日志必须轮转
采集类服务的日志会稳定增长,不轮转迟早把盘写满,而盘满的第一受害者是 SQLite。
/opt/info_aggregator/data/*.log {
daily
rotate 7
size 20M
missingok
notifempty
compress
copytruncate
}
用 copytruncate 是因为进程一直持有文件句柄,直接 mv 会导致后续日志写进已删除的 inode。
四、三个真实的坑
坑一:两份配置互相覆盖
项目里同时存在 config.yaml 和 notify.yaml,负责推送的那段代码读的是后者,而运维习惯改的是前者。结果是「配置改了但推送内容没变」,排查了两轮才定位。
结论:配置入口只能有一个。如果真的需要拆分文件,就在启动时做一次合并并打印最终生效配置的摘要,让「改没改上」一眼可见。
坑二:首次启动 30 到 90 秒没有端口
服务启动时会先同步跑一轮全量采集,再开始 listen。这段时间 systemd 显示 active (running),但端口还没起来,很容易被误判成卡死然后被 kill 掉重启,陷入死循环。
正确做法是把「预热」和「监听」分开:先拉起来监听健康检查,采集放到后台线程或独立的 timer 里。
坑三:双机同跑,重复推送
迁移期间新旧两台机器同时在线,结果同一个新品被推了两遍。采集任务大多没有跨实例的幂等锁,靠数据库里的「已推送」标记去重,两台机器各自的库互不可见。
结论:迁移脚本必须包含「停旧机」这一步,并且顺序不能反。正确顺序是:新机导数据 -> 新机验证 -> 停旧机 -> 新机接管推送。
五、迁移这件事,最好提前写成脚本
这台机器一个多月里迁过两次。第一次手工操作,漏了 venv 里的依赖和 systemd 单元;第二次就固化成两个脚本:
migrate-export.sh:打包代码、venv 指纹、systemd 单元、nginx 配置、数据库、凭据目录migrate-import.sh:还原目录、重建 venv、重装单元文件、重载 nginx
迁移包 8 MB 左右,传过去解压两条命令就能起来。另外本地固定留一份冷备:凭据目录 tar 包 + 数据库快照,跟日期一起命名。
一次真实的迁移耗时:导出 20 秒,传输 15 秒,导入 40 秒,验证 1 分钟。能不能快速恢复,取决于你有没有提前写这两个脚本,而不取决于你多熟练。
六、顺手做掉的几件安全小事
- 应用端口不对外,只留 nginx 的 80
- 面板加访问 token,无 token 直接返回 401(不要用「隐藏入口」当安全)
- 凭据目录
chmod 700,不要和代码放同一层 - 数据库和日志不要放在 Web 可访问目录下
- 定时任务和备份脚本都要能从零重建,别只存在于某个人的终端历史里
七、结论
2 核 2 GiB 跑这类服务完全够用,甚至过剩。选型时真正要想清楚的是三件事:
- 负载形态:是持续计算,还是低频定时?后者对小规格极其友好。
- 续费单价:规格翻倍往往让同样的钱买到的运行时间腰断,这才是隐性成本。
- 可迁移性:把迁移写成脚本,比把机器配置堆高更能提升「存活率」。
机器是租的,服务是自己的。把服务做成「换个地方两条命令就能跑起来」的形态,比纠结买多大规格划算得多。
- 点赞
- 收藏
- 关注作者
评论(0)