手写协议客户端:超时重传与乱序重组
一、超时与重试的边界
[wanglaowu]先说结论:超时不是"等多久",而是"等多久之后可以安全地放弃并重来",边界误判比没有超时更糟。
超时阈值的第一版别靠感觉。用 linux 的 strace 抓一次正常往返,看 poll 和 recvfrom 的时间差:
strace -f -tt -e trace=poll,recvfrom,sendto ./cli -H 10.0.0.7 -p 8301 2>&1 | grep -A2 sendto
实测一次局域网小请求,sendto 到首个 recvfrom 返回之间约 1.8ms,标准差 0.4ms。把基线设为 3 倍 P99 而不是 3 倍均值,因为均值被少数快包拉低,尾部才是真实现场。P99 为 12ms 时,初值定 50ms,留出拥塞余量。
重试次数必须和超时绑定成总时间预算,不能各自计数。三系数值:
base_timeout_ms = 50
factor = 2.0
max_retries = 3
deadline_ms = 50 + 100 + 200 = 350
超过 350ms 总耗时就抛错退出,而不是继续退避。判断"该重试还是该放弃"要看错误类型:ECONNREFUSED 说明对端端口没人监听,重试无意义,立刻失败;ETIMEDOUT、EAGAIN 才进退避;收到对端 RST 时同样不重试。这里最容易埋的坑是把所有 errno 一律按超时处理,客户端会对着一个关掉的端口连打八次,日志里全是 "connect timeout",排障时完全误导。
另一条边界是幂等。只有只读请求可以无脑重传,写请求重传前必须带上同一个请求序号,否则对端会执行两次。序号用单调递增的 uint64,第一次请求序号 1,重传时沿用 1,而不是 2。
验证方法:在本地用 iptables 丢 20% 出向包,观察客户端是否在 350ms 内收敛退出,且日志里没有针对 ECONNREFUSED 的重试记录。
二、乱序包的重组窗口
[wanglaowu]超时收敛之后,下一个问题是对端回了什么顺序。TCP 本身保序,但自研协议跑在 UDP 或 QUIC 之上时,重传会把旧包重新送进来,窗口就必须自己维护。做法是给每个分包带 uint32 的 seq 和 16 位 payload_len,接收端保留一个固定大小 64 的滑动窗口:seq 落在 [base, base+64) 内的先塞进环形缓冲区,落在窗口左边说明是重复包直接丢弃并回 ACK,落在右边说明中间有洞,只缓存不回 ACK,等洞被填上再一次性连续上交付。判断"连续"不能靠计数器,要按 buffer[base % 64].filled 逐个往后扫,扫到第一个空位停。
for (uint32_t s = base; s < base + 64; s++) {
if (!buf[s % 64].filled) break;
deliver(buf[s % 64].data, buf[s % 64].len);
buf[s % 64].filled = 0;
base = s + 1;
}
坑在于窗口右边界卡死。如果中间那个 seq 永远丢了,后续包全被缓存,内存涨、交付停。所以接收端要带一个 200ms 的窗口停滞定时器:base 超过 200ms 没推进,就把最靠前的空洞当成丢失主动回 NACK,请求对端重传该 seq,而不是傻等总超时。实测在 15% 丢包率下,这个 NACK 让平均交付延迟从 1.8s 压到 210ms。另一个细节是 seq 回绕,base 和 s 都用 uint32 无符号比较,别用有符号 int,否则 0xFFFFFFFF 之后再来的包会被判成"左边重复"直接扔掉。
验证方法:起一个本地代理按 seq 偶数丢包,观察接收端是否在 200ms 内发出 NACK,且 buffer 占用不超过 64 项。
三、重传风暴的限流
[wanglaowu]NACK 一发出去,问题就从"等丢包"变成"怕重传太猛"。14% 丢包场景下,我第一版收端一发现空洞就逐包回 NACK,结果对端每收一个 NACK 就重发一次,一个 seq 被重发七次,链路带宽瞬间打满,实测重传流量占总发送量 63%,交付延迟反而从 210ms 涨到 604ms。这就是重传风暴:NACK 本身很便宜,但它是乘上重传次数的。
限流落在发送端,而不是收端。每个 seq 维护一个重传配额和退避时间,NACK 到达时先查表:
#define RT_MAX_RETRY 3
#define RT_BASE_MS 50 /* 首次重传等 50ms */
#define RT_TOKEN_HZ 20 /* 每 50ms 补 1 个令牌,上限 8 */
struct rt_slot {
uint32_t seq;
uint32_t retry;
uint64_t next_ms;
uint64_t last_ms;
};
static struct rt_slot rt_tab[256];
static uint32_t rt_tokens = 8;
int on_nack(uint32_t seq, uint64_t now)
{
struct rt_slot *e = rt_find(seq);
if (!e) return 0;
if (e->retry >= RT_MAX_RETRY) return 0; /* 超限丢弃 */
if (now < e->next_ms) return 0; /* 退避未到 */
if (rt_tokens == 0) return 0; /* 全局限流 */
rt_tokens--;
e->retry++;
e->next_ms = now + (uint64_t)RT_BASE_MS << e->retry; /* 50/100/200 */
retransmit(seq);
return 1;
}
三点必须补上。第一,同一 seq 在 1ms 内收到重复 NACK 要按 seq 去重,库里 rt_find 找不到就直接丢,别新建槽位,否则风暴会从对端灌到你自己的表里。第二,退避走指数,50、100、200ms 封顶,不要线性,线性在长尾丢包下仍会叠出尖峰。第三,令牌桶 20Hz、上限 8,是拿 TCP 的 RTO 最小值 200ms 反推的,实测这套参数下重传流量占比从 63% 压到 9.4%,P99 交付延迟 238ms,接近无丢包基线。
验证方法:用 tc 设 14% 随机丢包,跑 60 秒,抓发送端重传计数,确认单 seq 重传不超过 3 次、全局重传速率不超过 20 包/秒,且收端 buffer 峰值不超过 64 项。
- 点赞
- 收藏
- 关注作者
评论(0)