Promise.all 不会替你限流:给批量任务设一道并发上限

举报
Wetter 发表于 2026/11/16 19:38:27 2026/11/16
【摘要】 一次创建上万个 Promise,可能先把数据库池和下游接口压满。本文实现一个保留输入顺序的有限并发处理器,分别记录成功与失败,并说明并发数、速率与取消的区别。

把任务列表交给 Promise.all(tasks.map(run)),不是“让 Promise.all 慢慢调度”。map 已经调用了每一个 run,工作可能在等待之前就全部开始。

批量任务需要的是:空出一个执行位置,才启动下一项。

用固定数量的执行循环取下一项

下面的独立示例同时最多执行两项。失败会被记录,后面的任务继续处理,结果数组保留输入顺序。

import assert from 'node:assert/strict';
import { setTimeout as delay } from 'node:timers/promises';

async function mapLimited(items, limit, run) {
  if (!Number.isSafeInteger(limit) || limit < 1) {
    throw new TypeError('limit 必须是正整数');
  }
  const results = new Array(items.length);
  let next = 0;
  async function consume() {
    while (next < items.length) {
      const index = next++;
      try {
        results[index] = { status: 'fulfilled', value: await run(items[index]) };
      } catch (reason) {
        results[index] = { status: 'rejected', reason };
      }
    }
  }
  await Promise.all(Array.from(
    { length: Math.min(limit, items.length) }, () => consume(),
  ));
  return results;
}
let active = 0;
let peak = 0;
const result = await mapLimited([1, 2, 3, 4], 2, async n => {
  active++;
  peak = Math.max(peak, active);
  try {
    await delay(5);
    if (n === 3) throw new Error('模拟单项失败');
    return n * 10;
  } finally { active--; }
});
assert.equal(peak, 2);
assert.equal(result[0].value, 10);
assert.equal(result[2].status, 'rejected');
assert.equal(result[3].value, 40);
console.log('bounded: passed');

next++ 在当前 JS 执行片段中完成,之后才进入 await。这里没有引入跨线程共享内存,不能把这套理由直接套到多个 Worker 进程。

flowchart TD
    A[待处理任务] --> B[取下一项]
    B --> C[最多 N 个执行位置]
    C --> D[记录成功或失败]
    D --> E{是否还有任务}
    E -->|有| B
    E -->|无| F[按输入顺序返回结果]

先确定失败策略

这个实现相当于有限并发的 allSettled。单项失败不会中止其他任务。若业务要求遇错停止领取新任务,需要额外的停止标记;已经启动的工作,则还要看它是否支持 AbortSignal 或其他取消方式。

仅让最外层 Promise 拒绝,不能宣称数据库查询、HTTP 请求或计算都停止了。第 10 课会把停止等待和停止执行分开处理。

并发上限也不是每秒限额

两个任务都很快时,即使并发为 2,每秒也可能发出很多请求。下游限制每秒请求数,需要另加速率控制。数据库连接池限制连接数,也不等于它限制了业务队列长度。

该示例把输入和所有结果保存在数组里,适合有限批量。数据持续到来时,应使用分页领取、异步迭代或有容量的队列,不能只限制 active,却让 waiting 无限增长。

练习时将 limit 改成 1、3,再让多个任务失败。检查峰值并发、结果顺序和最后的 active 是否为 0。先验证这些语义,再测耗时。

本篇展开学习计划中有限并发与 Promise.all 的区别。

【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。