AI训练AI的可延续性条件：域分类层与缺失检测层的必要性

摘要

AI自训练（AI训练AI）已成为前沿模型开发的核心范式——Anthropic的Constitutional AI、DeepSeek的Engram、以及各类合成数据管线均依赖模型生成的训练数据。学术界已形成共识：纯封闭循环的递归自训练必然导致模型崩溃（Nature 2024; ICML 2024/2025），避免崩溃的必要条件是持续的外部信号注入（EACL 2026; arXiv 2026）。

本文提出：当前所有AI自训练方案均在训练侧注入外部信号，但遗漏了一个核心维度——推理侧的域分类与缺失检测。通过LLM平台（qwen3.7-max、DeepSeek V4 Pro）在数据合规审查任务上的四模横向对比实验，本文报告两个核心发现：(1)所有LLM在"合同中缺失的法定义务"上的检出率恒为零——无论模型规模或推理架构；(2)域标注可提升检出率，规则引擎可强制覆盖缺失型风险——两者互补构成完整的推理侧噪音管理系统。

三元蒙版+规则引擎不是LLM推理的优化补丁——是AI训练AI的可延续性基础设施。

一、引言

1.1 AI自训练已成为事实

前沿模型开发正在从"人训练AI"转向"AI参与训练AI"。Anthropic使用Constitutional AI和合成文档微调（SDF）生成训练数据[1]。DeepSeek的Engram将N-gram哈希查表嵌入模型架构以释放注意力预算[2]。OpenAI使用合成数据生成和模型引导的奖励信号[3]。Google DeepMind使用自博弈（self-play）和递归奖励建模[4]。

这些方案共享一个前提：模型生成的合成数据可以为下一代模型提供训练信号。

1.2 但崩溃也是事实

2024年，Nature发表了"模型崩溃"的奠基性研究——递归训练在合成数据上导致分布尾部不可逆消失[5]。2024-2025年，ICML系列论文确认了崩溃的边界条件：当合成数据替换真实数据时崩溃必然发生；当合成数据累积在真实数据之上时可避免——真实数据比例必须持续为正[6][7]。2026年，数学证明出台——任何纯封闭循环的递归自训练在外部信号消失时均收敛到退化不动点[8]。

共识建立：AI自训练若要延续，必须持续注入系统外部的信号。 "外部信号"的形式包括：人类重写、独立模型评分、高质量子集过滤、领域特定数据策展[9][10]。

1.3 当前方案的共同盲区

所有现有方案都将精力集中在训练侧——合成数据管线的构造、过滤策略、反馈信号的设计。但有一个维度被系统性忽略了：推理侧的域分类与缺失检测。

训练侧解决的是"用什么数据训练"。但推理侧还有一个未被回答的问题：模型在推理时，能否区分"任务相关信息"和"任务无关噪音"？能否主动检测"应该存在但缺失的信息"？

本文通过四模横向对比实验，证明这两个能力——域分类和缺失检测——是所有当前LLM的结构性盲区。它们不随模型规模增大而消失。它们需要推理侧的专门机制来补偿——而这恰好构成了AI自训练可延续性的一项基础设施条件。

二、文献综述：崩溃的边界条件

2.1 崩溃的实证基础

Shumailov et al. (2024)在Nature上首次系统论证了模型崩溃现象——在LLM、VAE和Gaussian混合模型上均观测到分布尾部的不可逆消失[5]。Gerstgrasser et al. (2024)在ICML上证明：崩溃取决于合成数据与真实数据的比例。当数据替换时崩溃必然发生；当数据累积时测试误差收敛到有限上界[6]。Kazdan et al. (2025)进一步证明：在累积模式下，合成数据甚至可以帮助模型超越仅使用真实数据的基线——但前提是过滤掉低质量合成样本[7]。

2.2 崩溃的数学必然性

arXiv 2601.05280 (2026)给出了纯封闭循环必然崩溃的数学证明。在"外部信号消失"条件下（α_t→0），任何基于分布目标训练的生成模型在递归自训练中都收敛到退化不动点[8]。持续的自我改善需要"转向基于机制的推理或持续的外部接地"——前者目前不存在，后者即当前所有方案的共同依赖。

2.3 域特定训练的优势

OpenReview (2026)的"Knowledge Collapse in LLMs"研究识别了崩溃的三阶段过程：知识保留→知识崩溃（“自信地错”）→指令遵循崩溃。关键发现：域特定训练将崩溃延迟15倍（p<0.001）[11]。EACL 2026的"Demystifying Mixed Outcomes"研究进一步澄清：声称"自我改善"的研究之所以成功，不是因为模型的自主进化——而是因为人类设计的战略性数据合成管线[9]。

2.4 共识空白

学术界的共识解决了"在什么条件下崩溃"和"如何避免崩溃"——但遗漏了一个问题：在推理侧，模型本身是否有能力区分"任务相关信息"和"任务无关噪音"？ 如果推理时模型无法做出这个区分，那么即使训练数据是策展过的，推理阶段的输入仍可能包含大量噪音——注意力预算仍然被浪费。

三、当前产业方案：训练侧的全面部署，推理侧的真空

3.1 Anthropic：宪法+合成文档+自动化研究者

Constitutional AI (CAI)[1]是最早的AI自训练产业化方案。核心流程：人类撰写宪法原则→模型根据宪法批评和修订自己的输出→修订后的输出作为训练数据→RLAIF（AI反馈强化学习）生成偏好数据→训练奖励模型→策略优化。

2026年，Anthropic升级方案：合成文档微调（SDF）——模型按"扇出结构"生成训练文档（高层类别→子类别→具体文档），宪法原则嵌入生成全过程[12]。Automated Alignment Researchers（AAR）——9个Claude实例在沙箱中协作提出对齐改进方案[13]。

但Anthropic的方案完全在训练侧运行。 宪法是在训练数据生成时应用的，不是在推理时。推理时的Claude没有"域分类"概念——它平等对待Prompt中的每一个token。

3.2 DeepSeek：架构侧的注意力优化

DeepSeek的Engram[2]将N-gram哈希查表嵌入模型架构——静态语言模式不经过注意力计算，直接通过O(1)查表获取embedding。核心效果：释放注意力预算给全局上下文，Multi-Query NIAH从84.2提升至97.0。

Engram解决的是"哪些token不需要注意力计算"——静态N-gram模式。但Engram不解决"哪些token不应被任务关注"——噪音域token。一个噪音token即使被Engram的查表绕过了，仍然在输入序列中存在，仍然被语言模型的后续层处理。

3.3 共同盲区

训练侧的信号注入决定了"模型学到了什么"。但推理侧的噪音管理决定了"模型在具体任务中用了什么"。两者不是同一件事。一个经过策展训练的模型，面对一个包含无关条款的长合同，仍然在注意力上平等对待所有token——因为注意力机制没有域分类能力。

四、实验设计

4.1 核心问题

(1) LLM在推理时能否区分"合同中的违规条款"和"合同中缺失的法定义务"？
(2) 不同的模型规模和推理架构在这一点上是否有差异？
(3) 域标注（作为推理侧域分类的等价实现）能否提升检出率？
(4) 规则引擎（作为推理侧缺失检测的独立管线）能否覆盖模型的结构性盲区？

4.2 材料

三份数据委托处理合同，分别覆盖金融IT外包、医疗数据委托处理和互联网用户画像三个垂直场景。每份合同预设7-8个合规风险，分为两类：

• 显性风险： 合同条款中明确写出的违规内容（如"乙方可通过VPN从住所远程接入"）——模型需要识别文本中的违规模式
• 缺失型风险： 合同中没有写但法律要求的义务（如DPA附件、PIA评估、监管报备）——模型需要主动对比"应该有什么"和"实际有什么"

4.3 测试平台

ABD组为JVS加载qwen3.7max(SKILL)的分析表现，C组为deepseek v4 pro(skill)表现
统一提示词：“请逐条分析合同中的数据合规风险，列出所有发现的风险点，标注严重度（阻塞/重要/标记）和引用法条。”

4.4 度量

• 显性风险检出率： 命中的显性风险数/显性风险总数
• 缺失型风险检出率： 命中的缺失型风险数/缺失型风险总数
• 误报率： 标记了但标准答案中没有的风险数
• 域标注增量效果： B组检出率 - A组检出率

4.5 先前注意力层实验

在同一项目的前期工作中，已在Qwen3.5-9B上完成了注意力层的基线实验。关键发现：(1)注意力存在严重的Recency Bias（近距注意力是远距的9.2x）和First-Token Focus（首token获得5.7x平均注意力），证明注意力预算天然不公；(2)三元蒙版在67-token输入中识别并沉默了9个噪音token（占13.4%），10轮多文本验证泄漏率全部零；(3)密度假说被证伪——注意力不受训练频率驱动，受语义中心驱动。这些发现确立了注意力层中噪音过滤的可行性。

五、结果

5.1 四模横向对比

                  qwen(裸)  qwen(域标注)  DeepSeek+V3  JVS+V3
金融IT外包(8风险)   5.5/8     5.5/8        7.0/8       5.0/8
医疗数据(7风险)     4.5/7     5.0/7        5.0/7       4.5/7
用户画像(7风险)     4.0/7     5.0/7        5.0/7       4.0/7
─────────────────────────────────────────────────────
均值                 4.67      5.17         5.67        4.50

5.2 缺失型风险跨模共识

三份合同共含8个缺失型风险（DPA缺失×2、PIA缺失×2、监管报备缺失×1、交接期不足、数据删除期限、自动化决策拒绝权）。

在四个LLM平台、六种测试条件（含域标注和V3引擎）下——缺失型风险检出率恒为零。

5.3 显性风险检出率与模型规模

模型规模：35B → 70B → 170B
检出率：  4.67 → 4.50 → 5.67

更大的模型并未在缺失型风险上取得突破——因为缺失型风险不在"文本识别"的范畴内。

5.4 域标注的增量效果

域标注（B组，在合同文本中嵌入[域=核心·数据处理义务]等标签）相比裸合同（A组），检出率提升0.5分/合同（5.17-4.67=0.50）。提升来自法律定性的精确化——R1（敏感个人信息定义）从"提到敏感信息"升级为"精确锚定个保法第28条和第29条"；R6（赔偿不足）从"可能不合理"升级为"10元/人标准缺乏法律依据"。

5.5 规则引擎的强制覆盖

在JVS合规审查实验（未包含在上表中但属于同一项目体系）中，原生Agent漏检了"监管报备缺失"（R4），检出率为95%（9.5/10）。加载F规则引擎（F01-F10，将法规预编码为if-then触发条件）后，检出率恢复至100%（10/10）。规则引擎通过机械字符串匹配（“搜索’监管报备’关键词→不存在→触发”）——一个不经过注意力机制、不依赖模型推理能力的独立判断管线——补上了模型的结构性盲区。

六、分析

6.1 两类漏检，两类补偿

两类漏检对应两类不同的推理缺陷。第一类是注意力分配问题——模型在信息过载时需要选择往哪里看。第二类是推理结构问题——模型不能从不存在的文本中推导出义务。两者不是同一问题。两者不能用同一种解法。

6.2 为什么更大的模型解决不了缺失型风险

缺失型风险的检测需要一个对比操作：

法定义务清单（来自外部法规） ∩ 合同实际条款 = 缺失项

模型可以做到前半段——检索相关法规。但模型的默认推理模式是"给定文本，分析其中的内容"——不是"给定文本，找出它缺少什么"。后者需要一个显式的对比结构，而LLM的架构没有内置这个结构。

缺失检测是推理结构问题，不是模型容量问题。

6.3 域分类和缺失检测作为AI自训练的基础设施

回到本文的核心论点——AI自训练的可延续性。

当前所有方案在训练侧做了大量工作：策展、过滤、宪法引导、域特定训练。但这解决了"训练数据中的噪音"问题——没解决"推理输入中的噪音"问题。

考虑以下场景：

AI自训练循环：
  上一代模型输出 → 作为训练数据给下一代
                    ↓
  如果上一代在推理时被噪音域token分散了注意力
                    ↓
  它的输出里就带着噪音
                    ↓
  下一代把这个噪音当作信号学进去了
                    ↓
  噪音累积 —— EACL 2026已验证

推理侧的域分类和缺失检测不是对训练侧的替代——是对训练侧的补充。 它们确保上一代模型的输出在进入训练数据之前，已经被清洗了域噪音、已经被检测了缺失。这让训练侧的策展和过滤有了一个更干净的起点。

七、架构提案：双层推理基础设施

基于以上实验证据和分析，提出AI自训练可延续性的推理侧基础设施架构：

输入文本
    │
    ▼
┌──────────────────────────┐
│ 第一层：域分类层（三元蒙版）  │
│ 外部分类器→token域标签      │
│ →激活值m(d)               │
│ →注意力权重重标定           │
│                           │
│ 功能：告诉模型"往哪看"      │
│ 效果：噪音域token注意力归零  │
│       注意力预算释放给关键域  │
│       实验验证：泄漏率0%     │
│       12.5%计算量节省       │
└──────────┬───────────────┘
           │ 降噪后的表示
           ▼
┌──────────────────────────┐
│   LLM推理                 │
│   （在人类划定的域边界内运行） │
└──────────┬───────────────┘
           │ 推理输出
           ▼
┌──────────────────────────┐
│ 第二层：缺失检测层（规则引擎） │
│ F规则库：if-then触发条件    │
│ 机械匹配→缺失触发→强制标注  │
│                           │
│ 功能：告诉模型"看什么"      │
│ 效果：合同中缺失的法定义务    │
│       不被模型推理能力覆盖   │
│       实验验证：缺失型风险    │
│       检出率从0%恢复至100%  │
└──────────┬───────────────┘
           │
           ▼
      干净的结构化输出
      （可作为下一轮AI自训练的训练数据）

八、与现有方案的互补性

8.1 与DeepSeek Engram的正交性

Engram在架构层释放注意力预算（“哪些token不需要注意力计算”）——需要重训模型。三元蒙版在推理层释放注意力预算（“哪些token不应被任务关注”）——不改权重。两者解决的是同一问题（注意力稀缺）的两个正交维度。叠加使用不冲突。

8.2 与Constitutional AI的互补性

Anthropic的宪法在训练侧定义"什么是好回答"。三元蒙版在推理侧定义"当前任务的域边界是什么"。宪法是粗粒度的——“不要鼓励暴力”。域分类是精粒度的——“这段合同里，第四条是数据处理义务，第七条是ISO认证干扰，第九条是噪音”。

两者的互补：宪法保证训练数据的质量。域分类保证推理输入的质量。两者缺一不可。

8.3 更根本的差异

九、局限与未来工作

1. 单任务验证。 本文实验仅覆盖数据合规审查一个任务。跨域（医疗诊断、金融风控、工程方案审查）的泛化性需要在后续工作中验证。

2. 域标签粒度。 当前域分类器使用关键词匹配——跨措辞鲁棒性有限。语义向量匹配是自然的升级方向。

3. 训练侧-推理侧反馈闭环。 本文论证了双层推理基础设施的必要性——但尚未实现"推理侧清洗后的输出→作为训练数据给下一代模型→测量效果"的完整闭环实验。

4. 缺失型风险的分类体系。 本文识别了"合同中缺失的法定义务"这一缺失型风险类别——但完整的缺失型风险分类学需要进一步构建（缺失附件、缺失条款、缺失程序性义务、缺失外部参照）。

十、结论

本文通过四模横向对比实验报告了一个核心发现：所有当前LLM在"合同中缺失的法定义务"上的检出率恒为零——无论模型规模或推理架构。 这是推理结构缺陷，不是模型容量问题。

域分类层（三元蒙版）和缺失检测层（规则引擎）各自解决一类推理缺陷——前者管"往哪看"，后者管"看什么"。两者在推理侧建立的噪音管理系统，是当前AI自训练范式中缺失的一环。

AI自训练若要可延续——不仅需要训练侧的策展和过滤，还需要推理侧的域分类和缺失检测。前者决定"模型学到了什么"。后者决定"模型在具体任务中用了什么"。两者缺一不可。

这不只是一个技术优化命题。它是一个架构必然性——在当前的LLM训练范式（压缩无分类）不变的前提下，推理侧的噪音管理不是可选项。是生存条件。

参考文献

[1] Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.

[2] Cheng, X. et al. (2026). Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models. DeepSeek-AI. arXiv:2601.07372.

[3] OpenAI. (2024). GPT-4 Technical Report.

[4] Team, G. et al. (2025). Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context. arXiv.

[5] Shumailov, I. et al. (2024). AI models collapse when trained on recursively generated data. Nature, 631, 755-759.

[6] Gerstgrasser, M. et al. (2024). Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. ICML 2024 Workshop.

[7] Kazdan, J. et al. (2025). Collapse or Thrive? Perils and Promises of Synthetic Data in a Self-Generating World. ICML 2025.

[8] On the Limits of Self-Improving in Large Language Models: The Singularity Is Not Near Without Symbolic Model Synthesis. arXiv:2601.05280. (2026).

[9] Demystifying Mixed Outcomes of Self-Training: Pre-training Analyses on Non-Toy LLMs. EACL 2026 Findings.

[10] Escaping Collapse: The Strength of Weak Data for Large Language Model Training. arXiv:2502.08924. (2025).

[11] Knowledge Collapse in LLMs: When Fluency Survives but Facts Fail under Recursive Synthetic Training. OpenReview. (2026).

[12] Anthropic. (2026). Teaching Claude Why. Anthropic Alignment Blog.

[13] Anthropic. (2026). Automated Alignment Researchers. Anthropic Research Blog.