手写协议客户端:超时重传与乱序重组

举报
yd_246468676 发表于 2026/11/17 00:03:42 2026/11/17
【摘要】 一、超时与重试的边界

一、超时与重试的边界

[wanglaowu]先说结论:超时不是"等多久",而是"等多久之后可以安全地放弃并重来",边界误判比没有超时更糟。

超时阈值的第一版别靠感觉。用 linux 的 strace 抓一次正常往返,看 poll 和 recvfrom 的时间差:

strace -f -tt -e trace=poll,recvfrom,sendto ./cli -H 10.0.0.7 -p 8301 2>&1 | grep -A2 sendto

实测一次局域网小请求,sendto 到首个 recvfrom 返回之间约 1.8ms,标准差 0.4ms。把基线设为 3 倍 P99 而不是 3 倍均值,因为均值被少数快包拉低,尾部才是真实现场。P99 为 12ms 时,初值定 50ms,留出拥塞余量。

重试次数必须和超时绑定成总时间预算,不能各自计数。三系数值:

base_timeout_ms = 50

factor = 2.0

max_retries = 3

deadline_ms = 50 + 100 + 200 = 350

超过 350ms 总耗时就抛错退出,而不是继续退避。判断"该重试还是该放弃"要看错误类型:ECONNREFUSED 说明对端端口没人监听,重试无意义,立刻失败;ETIMEDOUT、EAGAIN 才进退避;收到对端 RST 时同样不重试。这里最容易埋的坑是把所有 errno 一律按超时处理,客户端会对着一个关掉的端口连打八次,日志里全是 "connect timeout",排障时完全误导。

另一条边界是幂等。只有只读请求可以无脑重传,写请求重传前必须带上同一个请求序号,否则对端会执行两次。序号用单调递增的 uint64,第一次请求序号 1,重传时沿用 1,而不是 2。

验证方法:在本地用 iptables 丢 20% 出向包,观察客户端是否在 350ms 内收敛退出,且日志里没有针对 ECONNREFUSED 的重试记录。

二、乱序包的重组窗口

[wanglaowu]超时收敛之后,下一个问题是对端回了什么顺序。TCP 本身保序,但自研协议跑在 UDP 或 QUIC 之上时,重传会把旧包重新送进来,窗口就必须自己维护。做法是给每个分包带 uint32 的 seq 和 16 位 payload_len,接收端保留一个固定大小 64 的滑动窗口:seq 落在 [base, base+64) 内的先塞进环形缓冲区,落在窗口左边说明是重复包直接丢弃并回 ACK,落在右边说明中间有洞,只缓存不回 ACK,等洞被填上再一次性连续上交付。判断"连续"不能靠计数器,要按 buffer[base % 64].filled 逐个往后扫,扫到第一个空位停。

for (uint32_t s = base; s < base + 64; s++) {

if (!buf[s % 64].filled) break;

deliver(buf[s % 64].data, buf[s % 64].len);

buf[s % 64].filled = 0;

base = s + 1;

}

坑在于窗口右边界卡死。如果中间那个 seq 永远丢了,后续包全被缓存,内存涨、交付停。所以接收端要带一个 200ms 的窗口停滞定时器:base 超过 200ms 没推进,就把最靠前的空洞当成丢失主动回 NACK,请求对端重传该 seq,而不是傻等总超时。实测在 15% 丢包率下,这个 NACK 让平均交付延迟从 1.8s 压到 210ms。另一个细节是 seq 回绕,base 和 s 都用 uint32 无符号比较,别用有符号 int,否则 0xFFFFFFFF 之后再来的包会被判成"左边重复"直接扔掉。

验证方法:起一个本地代理按 seq 偶数丢包,观察接收端是否在 200ms 内发出 NACK,且 buffer 占用不超过 64 项。

三、重传风暴的限流

[wanglaowu]NACK 一发出去,问题就从"等丢包"变成"怕重传太猛"。14% 丢包场景下,我第一版收端一发现空洞就逐包回 NACK,结果对端每收一个 NACK 就重发一次,一个 seq 被重发七次,链路带宽瞬间打满,实测重传流量占总发送量 63%,交付延迟反而从 210ms 涨到 604ms。这就是重传风暴:NACK 本身很便宜,但它是乘上重传次数的。

限流落在发送端,而不是收端。每个 seq 维护一个重传配额和退避时间,NACK 到达时先查表:

#define RT_MAX_RETRY 3

#define RT_BASE_MS 50 /* 首次重传等 50ms */

#define RT_TOKEN_HZ 20 /* 每 50ms 补 1 个令牌,上限 8 */

struct rt_slot {

uint32_t seq;

uint32_t retry;

uint64_t next_ms;

uint64_t last_ms;

};

static struct rt_slot rt_tab[256];

static uint32_t rt_tokens = 8;

int on_nack(uint32_t seq, uint64_t now)

{

struct rt_slot *e = rt_find(seq);

if (!e) return 0;

if (e->retry >= RT_MAX_RETRY) return 0; /* 超限丢弃 */

if (now < e->next_ms) return 0; /* 退避未到 */

if (rt_tokens == 0) return 0; /* 全局限流 */

rt_tokens--;

e->retry++;

e->next_ms = now + (uint64_t)RT_BASE_MS << e->retry; /* 50/100/200 */

retransmit(seq);

return 1;

}

三点必须补上。第一,同一 seq 在 1ms 内收到重复 NACK 要按 seq 去重,库里 rt_find 找不到就直接丢,别新建槽位,否则风暴会从对端灌到你自己的表里。第二,退避走指数,50、100、200ms 封顶,不要线性,线性在长尾丢包下仍会叠出尖峰。第三,令牌桶 20Hz、上限 8,是拿 TCP 的 RTO 最小值 200ms 反推的,实测这套参数下重传流量占比从 63% 压到 9.4%,P99 交付延迟 238ms,接近无丢包基线。

验证方法:用 tc 设 14% 随机丢包,跑 60 秒,抓发送端重传计数,确认单 seq 重传不超过 3 次、全局重传速率不超过 20 包/秒,且收端 buffer 峰值不超过 64 项。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。