服务器入坑指北:日志限速与转发的量化边界
出事那段时间的日志正好缺了一块;磁盘没满但日志没了;关了转发以后文本文件空了、以为日志丢了。
在你动手去改之前,先把两条前提看清:① "限速"发生在两层,判据不同——一层在写入日志系统之前丢(连日志库里也不会有)、另一层在读出来之后丢(日志库里仍然有);② 超限的行为是"丢弃",不是"延迟"——方向写反了,你会去等一个永远不会来的"积压释放"。
这篇给三段内容:判层与读计数(只读)→ 算两式(只读)→ 改与读回(最后一段改配置是写操作)。取值用占位符,参数名与选项照写;每条命令带它自己的环境前提。
限速丢在哪一层
“日志缺了一块"要先问"缺在哪一层”:
- 生产侧丢(写入 journal 之前,参数是
RateLimitIntervalSec=与RateLimitBurst=)⇒ journal 里也没有; - 消费侧丢(从 journal 读出来之后,参数是
RateLimit.Interval与RateLimit.Burst)⇒ journal 里仍有。
判据:拿一条本该有的记录回查 journal——在 = 消费侧丢;不在 = 生产侧丢。
journalctl -u <单元> --since <时间> # 分流判据:该服务在丢弃期间 journal 里还有没有记录(需日志系统环境)
journalctl --disk-usage # journal 侧占用现读
journalctl --flush # 把内存中的日志刷到磁盘后再统计:别把"还在内存"当成"丢了"(**需日志系统环境;它比上面那条更依赖守护进程**)
wc -l <文件> # 数条数:数的是换行数,末行没有换行时会少算一行
date +%s # 窗口的秒数(两次取值相减)
判据:先定位层,再谈调参。两个同名参数别混:RateLimit.Burst(rsyslog 侧)与 RateLimitBurst=(journald 侧)不同层;而 RateLimit.Interval / RateLimit.Burst 是 imjournal / imuxsock 的模块参数(写进 module(load=…) 的 rsyslog.conf),不是命令行选项——两条输入路径(imjournal 直读 journal、imuxsock 读本地 socket)各自的限速要分别看。
“没落盘"也是一种"查不到”:Storage= 的取值决定日志在内存还是磁盘——查不到之前,先确认它本来就该落盘。
丢弃率怎么算
丢弃率 = 丢弃条数 / 产生条数——分母是"你灌进去的条数",不是"收到条数 + 那条说明"。
logger -p <级别> -t <标签> <消息> # 造测试事件投递(**logger 只负责投递、限速由 journald/rsyslog 施加**;**本机有 logger(属 bsdutils),但缺 syslog/journald 守护进程,故限速行为无法自证**)
wc -l <文件> # 数实际落盘的条数
一条容易算错的地方:日志系统在丢弃时会自己生成一条"丢弃了多少条"的说明消息——那条说明不是"收到的日志",别把它算进收到条数(算进去,丢弃率会被你自己算小)。
算一遍(数值为演示值):一窗内灌入 120000 条、实际落盘 10000 条 ⇒ 丢弃条数 = 120000 - 10000 = 110000 ⇒ 丢弃率 = 110000 / 120000 ≈ 0.917,也就是 约 91.7%。
阈值与窗口怎么配
平均允许速率 ≈ 阈值 / 窗口长度。
接着算(同一组数往下走):阈值 RateLimitBurst= 按 10000 条、窗口 RateLimitIntervalSec= 按 30 秒 ⇒ 平均允许速率 ≈ 10000 / 30 ≈ 333(条每秒);而上面那组数是"一窗内 120000 条" ⇒ 实际产生速率 ≈ 120000 / 30 = 4000(条每秒)——约是允许速率的 12 倍,丢这么多是必然。
三个口径要一起记住(都是手册逐字):
- 超限即丢弃、不是延迟,到区间结束才恢复(不是每来一条就滑动);
- 按服务分别计数(别的服务把额度用光,不等于你的服务被限);
- 默认 10000 条 / 30 秒;任一项设为 0 即关闭限速。
配置值不等于生效值:手册另注"有效限速会按可用磁盘空间的对数放大"——所以你读到的现读值未必等于写在配置里的那个数。读生效值要用你所在发行版提供的入口(例如journalctl --header看文件头元信息,或管理器自己的show类入口)——以现读为准(放大的系数不写死)。
转发开关不等于日志没了
ForwardToSyslog= 关掉只停"把消息转发给传统 syslog",日志系统自身的记录不受影响。
判据:文本文件里没有时,先回查 journal——在 = 只是转发关了(或消费侧丢了);不在 = 得往生产侧查。所以"文本文件里没有"绝不等于"日志丢了";要不要开转发,是另一个决定(见下节的取舍)。
取舍:丢日志还是丢磁盘
- 限速严:磁盘安全;代价是出事时正好缺关键记录;
- 限速松:记录更全;代价是日志把磁盘吃掉;
- 关掉转发只留 journal:少一条消费链;代价是依赖文本日志的工具链断掉。
判据:先算"每秒峰值产生多少条",再与"阈值 ÷ 窗口"比——峰值远超允许速率时,光调阈值只能改变哪个窗口、从第几条起开始丢。
改与读回
journalctl --disk-usage # 改前:记录当前占用
journalctl --vacuum-size=<大小> # 按用量回收旧日志(写操作:先记原值、留回滚点)
journalctl --rotate # 立即轮转日志文件(配合归档侧清理)(**手册写明:先把活动文件轮转、再做 vacuum,效果最大**)
journalctl --disk-usage # 读回:占用降到哪了
一个常见误解要写清:--vacuum-size=<大小> 只作用于归档文件,而 --disk-usage 报的是"归档与活动文件之和"——两者口径不同 ⇒ 设了目标值却可能压不到那个数(这是手册逐字给出的不对称)。另外,--disk-usage 是否按压缩或硬链接去重,手册没有写——不要断言,以现读为准。
配置侧的落点:
# journald 侧
RateLimitIntervalSec=<时长> # 窗口长度:区间内超限即丢、到区间结束才恢复
RateLimitBurst=<条数> # 窗口内允许条数(默认 10000 条 / 30 秒;设 0 关闭限速)
ForwardToSyslog=<取值> # 只控制"是否转发给传统 syslog"
Storage=<取值> # volatile / persistent / auto / none:决定内存还是磁盘
# rsyslog 侧(模块参数,不是命令行选项)
# module(load="imjournal" RateLimit.Interval="<秒>" RateLimit.Burst="<条数>")
# module(load="imuxsock" RateLimit.Interval="<秒>" RateLimit.Burst="<条数>" RateLimit.Severity="<级别>")
先记原值(窗口、阈值、转发开关、存储开关各记一份);改完要重载(不重载,生效值不变);回读确认生效值——改配置是写操作,需要相应权限。
现象到动作的判定表
| 现象 | 结论 | 动作 |
|---|---|---|
| 日志缺了一块 | 先判层 | 回查 journal:在 = 消费侧丢;不在 = 生产侧丢 |
| 文本文件里没有 | 不一定是丢了 | 先回查 journal,再看转发开关 |
| 限速了但没看到积压释放 | 它是丢弃不是延迟 | 别等;按允许速率与峰值比,重配阈值与窗口 |
| 配置值与生效值不同 | 有效限速被对数放大 | 读生效值,别拿配置值当结论 |
| 设了目标大小却没压到 | 只动归档文件 | 用同口径现读对照,必要时配合轮转 |
这篇不解决什么
- 讲日志该留什么留多久的那篇管留存策略与容量(限速在那里是邻接词);本篇管"限速丢在哪一层、丢弃率怎么算"。判定入口:“留多久、留哪些”→ 那篇;“为什么缺了一块、丢在哪”→ 本篇。
- 讲日志字段的结构化取舍的那篇管字段结构;本篇管日志的流量控制——一个在"记什么",一个在"记不记得下来"。
- 讲采样日志与全量日志的取舍的那篇管主动采样;本篇管被动丢弃——一个是设计选择、一个是超限后果。
踩坑清单
- 把"丢弃"当"延迟":不会释放,别等。
- 把"丢弃数量"那条说明算进收到条数:丢弃率会被算小。
- 关了转发以为日志丢了:文本文件里没有 ≠ 日志没了。
- 断言
--disk-usage会去重:手册没写,按现读为准。 - 拿配置值当生效值:有效限速按可用空间对数放大。
- 把
RateLimit.*当命令行选项:它是模块参数。 - 只在文本文件里找、不回查 journal:分不清哪一层丢的。
- 在非日志系统环境上照敲:这些命令在那里不存在。
改完怎么验证
- 层的判据用了:拿一条本该有的记录回查
journalctl -u <单元> --since <时间>⇒ 期望:在 = 消费侧丢;不在 = 生产侧丢; - 丢弃率算得出:
wc -l数落盘条数、与你灌入的条数相减再相除 ⇒ 期望:那条"丢弃数量"说明没有被算进收到条数; - 允许速率算得出:阈值 ÷ 窗口 ⇒ 期望:与峰值产生速率比,比值说明丢掉是必然还是异常;
- "丢弃不是延迟"写明:改完再等一个区间 ⇒ 期望:不会出现"等一会儿就补齐"(丢掉的不会回来);
- 生效值读法给了:读到的现读值与配置值对比 ⇒ 期望:可能不同(对数放大),以现读为准;
- 装包前提都带了(需要日志系统环境;造测试事件需要
logger)
- 点赞
- 收藏
- 关注作者
评论(0)