Promise.all 不会替你限流:给批量任务设一道并发上限
把任务列表交给 Promise.all(tasks.map(run)),不是“让 Promise.all 慢慢调度”。map 已经调用了每一个 run,工作可能在等待之前就全部开始。
批量任务需要的是:空出一个执行位置,才启动下一项。
用固定数量的执行循环取下一项
下面的独立示例同时最多执行两项。失败会被记录,后面的任务继续处理,结果数组保留输入顺序。
import assert from 'node:assert/strict';
import { setTimeout as delay } from 'node:timers/promises';
async function mapLimited(items, limit, run) {
if (!Number.isSafeInteger(limit) || limit < 1) {
throw new TypeError('limit 必须是正整数');
}
const results = new Array(items.length);
let next = 0;
async function consume() {
while (next < items.length) {
const index = next++;
try {
results[index] = { status: 'fulfilled', value: await run(items[index]) };
} catch (reason) {
results[index] = { status: 'rejected', reason };
}
}
}
await Promise.all(Array.from(
{ length: Math.min(limit, items.length) }, () => consume(),
));
return results;
}
let active = 0;
let peak = 0;
const result = await mapLimited([1, 2, 3, 4], 2, async n => {
active++;
peak = Math.max(peak, active);
try {
await delay(5);
if (n === 3) throw new Error('模拟单项失败');
return n * 10;
} finally { active--; }
});
assert.equal(peak, 2);
assert.equal(result[0].value, 10);
assert.equal(result[2].status, 'rejected');
assert.equal(result[3].value, 40);
console.log('bounded: passed');
next++ 在当前 JS 执行片段中完成,之后才进入 await。这里没有引入跨线程共享内存,不能把这套理由直接套到多个 Worker 进程。
flowchart TD
A[待处理任务] --> B[取下一项]
B --> C[最多 N 个执行位置]
C --> D[记录成功或失败]
D --> E{是否还有任务}
E -->|有| B
E -->|无| F[按输入顺序返回结果]
先确定失败策略
这个实现相当于有限并发的 allSettled。单项失败不会中止其他任务。若业务要求遇错停止领取新任务,需要额外的停止标记;已经启动的工作,则还要看它是否支持 AbortSignal 或其他取消方式。
仅让最外层 Promise 拒绝,不能宣称数据库查询、HTTP 请求或计算都停止了。第 10 课会把停止等待和停止执行分开处理。
并发上限也不是每秒限额
两个任务都很快时,即使并发为 2,每秒也可能发出很多请求。下游限制每秒请求数,需要另加速率控制。数据库连接池限制连接数,也不等于它限制了业务队列长度。
该示例把输入和所有结果保存在数组里,适合有限批量。数据持续到来时,应使用分页领取、异步迭代或有容量的队列,不能只限制 active,却让 waiting 无限增长。
练习时将 limit 改成 1、3,再让多个任务失败。检查峰值并发、结果顺序和最后的 active 是否为 0。先验证这些语义,再测耗时。
本篇展开学习计划中有限并发与 Promise.all 的区别。
- 点赞
- 收藏
- 关注作者
评论(0)