阅读范围。 本文是预训练数据工程的局部专题，围绕过滤、知识曝光、去重和合成数据，对照公开原始论文展开。它不是唐杰《高级机器学习》某一讲的完整复述：目前尚未核实被转述课程的完整课件和视频，不能将二手笔记当成讲师原话，也不能把外部研究全部归成智谱训练经验。本文不转载流传课件图片。
核心问题是：在有限训练预算里，应该让模型看到什么、看到几次、以何种形式看到，以及如何判断这些数据真的有用？过滤会改变模型接触到的世界，去重会改变样本权重，改写会改变知识的表达，合成数据还会引入新的验证问题。只数 token 不足以回答这些问题。
关于“下一代 GLM 目标 100T”的转述
这篇公开小红书笔记将“下一代 GLM 的训练 Token 规模目标 100T”归于唐杰第八讲分享。这是笔记作者的二手转述，本文尚未找到原始课堂或官方材料独立确认。 尤其要保留“目标”二字，不能改写成“已经完成 100T 训练”。这里的 T 按 token 规模表示 10¹²，100T 即 100 万亿 token，并非 100 TB 存储容量或模型参数量。
这篇笔记进一步称，100T 指清洗后的互联网纯文本，不含合成数据。这仍然属于同一二手来源的口径，并未因数字更具体而变成已证实的官方计划。核对历史模型时，尤其不能把所有 token 都理解成去重后的网页文本：
- 15T：官方说明对应 2025 年发布的 GLM-4-32B-Base-0414，并明确包含大量推理类合成数据，不宜泛称整个 GLM-4 系列都是同一规模。GLM-4 官方仓库，Model Introduction
- 23T：GLM-4.5 技术报告说明为多阶段训练规模，其训练流程包括预训练和中训练，不能简化成 23T 独立原始网页。GLM-4.5 报告 v1，摘要与第 2 节
- 28.5T：GLM-5 报告第 2 节将其表述为基础模型各训练阶段的总 token 预算，涉及预训练与中训练；流程说明先使用 27T 规模语料，再进行中训练。因此“28.5T”不是去重网页存量的同义词。GLM-5 报告 v1，第 2 节与 Figure 5
- 30T：官方仓库对 GLM-5.3-Flash 的说明明确是多模态预训练语料，不能与纯文本口径直接混排。GLM-5 官方仓库
历史数据不能否定一个尚待核实的未来目标，但这些口径差异也意味着，不能仅凭一条上升的数字序列推导数据供给或训练效果。100T 若要成为可分析的方案，还需确认独立语料量与累计训练曝光的区别、采样轮数、分词方式及质量定义。本文也不把“数据墙被夸大”当作已由这些数字证明的结论。
一、过滤规则里藏着一种“好文本”的定义
先问规则会误删什么
长度规则可能拒绝短答案，字母比例规则可能不适合数学与代码，英语停用词规则不适合直接套到其他语言。这些是对规则适用性的分析，不能说成原论文已经逐项量化证实的失败率。
原始资料能确认什么
文档长度 50—100,000 词、平均词长 3—10 字符、至少 80% 的词含字母、八个英语常用词中至少出现两个，来自 Gopher 的 MassiveWeb 质量过滤。重复行与段落比例 0.30 则来自紧接着的重复过滤表；按重复字符计算的对应阈值是 0.20，不能混用。这些规则属于具体数据配方，不是通用质量标准。Gopher v2，附录 A.1.1，PDF 第 40—41 页、Table A1
C4 也是常被讨论的过滤配方，但两者不是同一套规则。T5/C4 原论文第 2.2 节列的是句末标点、页面与行的最小长度、词表及模板文本过滤、重复三句片段处理等。其英文任务目标也解释了英语筛选；不能把 Gopher 表中的数值统一叫“C4 阈值”。T5 v4，第 2.2 节，PDF 第 6 页
RefinedWeb 的 11.67%，不是整个互联网的可用率
RefinedWeb 2023 年论文 Figure 2 的流程图给出最终约 11.67% 的累计保留值，描述的是其针对 CommonCrawl 的特定英语数据处理流水线。图注明确：文档准备阶段按文档数计，之后按 token 计；各步删除率以此前阶段为分母，累计保留率又是另一种口径。约一半文档因非英语被剔除，这部分不能简单叫“垃圾数据”。RefinedWeb v1，第 3 节、Figure 2
因此，不能把 11.67% 当成“全球网页只有这些能用于训练”的普遍统计，更不能不区分语言、解析器和计数单位，就拿它反推可训练 token 的全球上限。这是特定配方的结果，不是互联网的自然常数。
haruka-parser：项目存在，不等于增益数字已验证
同一公开笔记称 haruka-parser 比传统方法多回收约 50% token、高质量 token 多约 150%。PyPI 上可以找到同名项目，但在本次核查时，其所列 GitHub 源码链接返回 404，尚未找到支持这两项比例的公开实验报告或基准说明。本文不据此确认工具的智谱归属，也不把这两项比例当成已验证收益或讲师原话。
需要补齐的不是另一句宣传，而是比较对象、网页样本、分词器、质量判定方法，以及相同页面和相同预算下的结果。多抽出正文、少丢掉表格可能有价值，但“抽取更多 token”“高质量 token 更多”“最终模型能力提升”是三个不同主张，不能互相替代。
本文分析：阈值决定的不只是干净程度
过滤器对“什么值得学”作了隐含选择。英语散文的外观特征可以帮助排除网页垃圾，但数学公式、代码、词条、表格也有自己的结构。让所有数据都长得像英文段落，可能同时清走噪声和有用的专业内容。
这里有一个容易忽略的先后关系：如果抽取器先把表格结构破坏了，过滤器看到的就可能只是混乱字符。此时放宽阈值未必能解决问题，应该先检查解析质量。因此，数据工程至少要把“原网页不好”“抽取结果不好”“规则不适合该领域”分开记录。
可操作的检验方法是对保留集和拒绝集分别按语言、来源、领域抽样。每条规则回答三个问题：主要去掉什么？误删了什么？它与其他规则叠加后，是否让某类数据几乎消失？这是本文建议的审计方式，不是已经完成的实测。
二、知识曝光：出现次数、表达方式与保持时间要一起看
次数、多样性与上下文是待测因素
知识学习可以从曝光频率、表达多样性和上下文三个因素切入，但这不是一个已经拟合、可以直接计算知识量的定律。尤其不能把某张教学示意图中的约 40 次曝光，直接变成“每条事实重复 40 次”的通用配方。下文会给出一个确实讨论约 40 次的研究，并说明其条件；本文没有确认它与流传课件之间的引用关系。
还需要区分三个层次：
- 字面记忆：能否接续训练中出现的原句。
- 语义提取：换一种问法，还能否答对同一事实。
- 组合使用：能否把该事实与其他条件结合，解答新问题。
这里采用与下述 Chang 等研究相近的探针分层来解释实验；不能把某一种测试上的提升统称为“已经掌握知识”。
2024 年研究：学到之后还会遗忘
Chang 等人使用 OLMo 中间检查点，在继续预训练中注入虚构事实，比较原文重复、改写和单次注入。主要重复设定为间隔 100 个训练步、注入 10 次，并用记忆、语义泛化和组合泛化探针跟踪答案概率。研究观察到每次注入后的提升与随后下降；原文重复可产生较大的短期提升，但通常遗忘更快，终点结果不能只看刚学完的一刻。Chang 等，v3，第 3—4.3 节，PDF 第 3—7 页
本文分析。 “见过多少次”没有描述曝光间隔，也没有描述中间训练了多少其他内容。相同次数，集中出现和间隔出现可能产生不同效果；同一事实换成问答或解释，也不等于复制原句。对训练数据真正有用的问题是：在目标测量时间，哪些能力还保留着？
同样要避免把“上下文熵”当成已经建立的单一质量指标。在采用这个说法之前，首先需要给出熵的估计方法。随意增加无关背景会使形式更杂，却不一定提供更多与目标知识有关的线索。可控实验应该区分措辞变化、文体变化、推导解释、相关背景和无关干扰，而不是用一个“多样性更高”包办所有差异。
较新的相关证据：约 40 次究竟意味着什么
Lee 等 2026 年论文第 6 节有一个值得对照的结果：在 Figure 6 左图所述的 batch size 64、六份文档实验中（图注写 OLMo-2-7B，但图例实际同时列出 1B、7B、13B、32B 曲线），原文重复的推理探针表现约在 20 次曝光后饱和并退化，而原文加九种改写的条件仍改善至约 40 次。该图纵轴是推理探针目标的对数概率，不是一个通用的事实召回率；“约 40”也不是证明知识此时才写入网络的阈值。目标对数概率与召回率不是同一指标，不能直接对表。此文是本文查到的相关研究，不能由数字相似就认定为某份课件的来源。Lee 等，v2，第 6 节、Figure 6（PDF 第 8 页）
该研究报告这类改写收益在 7B 及以上模型中出现，1B 上则略有害；收益也受 batch size 影响。更大的 batch 混入更多一般数据时，部分优势缩小，某些事实指标甚至反转。论文的主要设计覆盖三领域共 36 份文档，采用受控继续预训练，作者也明确其不能代表从头完成大规模预训练。同上，第 3、6 节与 Limitations
本文分析。 这组结果的意义在于纠正“重复次数越多越好”的单轴思考。决定收益的是表达方式、数据混合与优化过程的组合。把一个特定实验的横轴位置抽出来当行业经验，恰好丢掉了研究最重要的控制条件。
三、去重为什么可能有用，又为什么不等于把事实只留一次
一个具体的重复数据实验
Hernandez 等 2022 年研究给出一个具体结果：相当于总训练 token 预算 0.1% 的小子集重复约 100 遍，占总预算约 10%，其余 90% token 不重复；800M 模型的表现接近约 400M 模型。其摘要采用约 400M 的概括，正文相关图比较接近 340M；指标是相应测试损失，不是模型所有能力都“腰斩”。研究固定总训练量，改变重复子集与重复次数，并发现受影响区域和训练过程中的双降现象。Hernandez 等，第 1—2 节、Figures 1—3，PDF 第 1—4 页
原论文还检验了复制能力和 induction heads 的变化，提出过度记忆可能挤占泛化能力的机制解释。这是特定实验支持的假说，不是对所有重复训练的普适证明。同上，第 2 节
本文分析：先定义你在去掉什么
“重复”至少包含四种不同情况：
- 同一页面被抓取或转载很多遍。
- 不同页面复用模板、导航和免责声明。
- 独立文本从不同角度讲同一事实。
- 训练配方有意提高某类高价值样本的采样权重。
这些对象不能用同一种策略处理。前两种常常会无意改变训练分布；第三种可能恰好提供语义连接；第四种则应作为实验变量显式控制。
一个简单的权重例子能说明问题。若某篇文本被镜像复制 100 次，而其他文档各出现一次，按文档均匀抽样会让它获得约 100 倍抽中机会。这里未必新增了 100 倍知识，却实实在在消耗了采样预算。这只是计数示意，真实训练还取决于长度、分块和混合策略。
因此，语料库去重与训练时受控重复不矛盾。可以先清除意外复制，得到可追溯的基础集合，再明确决定每类样本的训练权重。需要防止的，是把“字面相同”误扩展成“同一事实只准出现一次”：一篇定理证明、一个反例和一道应用题可能共享主题，却提供不同监督信号。
工程上应分开记录精确重复、近重复、模板重合和语义相关，保留去重代表样本的来源。最后比较固定预算下的验证损失、目标任务表现和长尾覆盖，而不只展示“删除了多少 TB”。
四、合成数据的价值来自什么？先看信息与验证的来源
区分三种信息来源
为了分析合成数据，可以区分重新组织已有信息、把搜索中的成功尝试变成训练样本、通过实验或环境得到新观察。这里把它作为本文的分析框架，不认定为某家公司独有配方，也不声称已经核实其课堂出处。
1. 重表达：让同一内容更容易学
同一条技术结论可以写成定义、问答、例子或推导。原始事实未必增加，但训练信号的组织方式改变了。前述 Lee 等研究在匹配目标知识 token 预算时，比较原文、措辞改写和概念性辅助视角；其结果支持在相应设置下，辅助视角比仅换措辞更有效。但这不能保证任意自动改写都改善学习。Lee 等，第 3—4 节
本文分析。 改写会同时带来机会和风险。把复杂段落展开成步骤可能帮助学习，也可能悄悄删掉成立条件、改变数字或补出原文没有的解释。最低限度的质量检查应围绕事实保持、条件保持和错误引入展开；语言更顺不是语义更正确的证据。
2. 搜索与筛选：把算力变成可复用的监督
作为独立研究例子，STaR 让模型生成解题理由，依据正确答案筛选，并在错误时利用正确答案重新生成理由，再将合格样本用于训练。这是推理任务的微调例子，在本文仅用于说明“生成—筛选—学习”机制，不能充当预训练数据收益的直接证据。它说明自生成数据可以与外部答案信号结合，而非只靠模型对自己输出的自信。STaR v2
本文分析。 在程序任务中，测试执行可提供反馈；在形式化问题中，检查器可以验证某些约束。搜索花费的计算通过筛选压缩进样本，让之后的模型学习成功模式。不过，测试通过只证明覆盖到的测试通过，最终答案正确也不保证每一步解释正确。验证器的漏洞、覆盖不足和与训练数据的泄漏仍需单独检查。
3. 外部观察：新增约束，而不是只增加说法
本文分析。 新实验结果、真实环境反馈或独立人工核验，与把原文本再写一遍不同：它们可能提供原材料没有的观察，从而排除原先看起来合理的错误假设。
这个区别也解释了为什么“多生成十倍”不自动意味着“可靠十倍”。如果生成器稳定地重复同一错误，更多样本可能放大它；若筛选能独立识别错误，额外候选才可能变成更好的训练集合。这里的重点是信息与约束来自哪里，不是给“人工”或“合成”贴一张永久质量标签。
五、把这些问题合起来，可以设计怎样的实验？
以下是本文提出的实验思路，不是讲者已经验证的配方，也不是已经做过的实测。
选择一组可核验的目标事实或技能，固定训练模型、基础数据、优化设置和总 token 预算，分别比较：
- 原文少量曝光；
- 同一原文提高重复权重；
- 相同预算下的忠实措辞改写；
- 相同预算下的解释、问答与应用例子；
- 经独立验证器筛选的生成样本。
除总 token 预算外，还要记录目标知识 token 预算、目标曝光次数及曝光间隔。解释和改写往往更长，如果这些量未对齐，应明确实验究竟比较的是固定总预算下的数据配方，还是固定目标曝光量下的表达方式；不能把多投入的知识 token 所带来的收益全归于表达质量。
每组至少测原句接续、换问法、组合应用和延迟保持，并检查对一般能力是否产生副作用。测试问题应独立构造，不能只是把生成样本中的题目重新拿来打分。
过滤实验也需要同样的纪律：不要一边换过滤规则，一边换模型规模和训练预算，再把全部提升归给数据质量。记录每一步改变了哪些来源、语言和领域的权重，才能解释结果。
贯穿这些研究的一条分析主线是：训练语料并非被动收集的文字堆，而是一个由选择、权重、表达和验证共同定义的学习环境。 更好的数据工程不一定让文件更多，有时是少一些意外复制，多一些有效表达，再多一道真正能发现错误的验证。
来源与仍待核实事项
已核读的公开原始材料：
- Rae 等，Gopher，arXiv:2112.11446v2，2022-01-21 版本，附录 A.1.1。
- Raffel 等，T5/C4，arXiv:1910.10683v4，2023-09-19 版本，第 2.2 节。
- Hernandez 等，重复数据，arXiv:2205.10487v1，2022-05-21。
- Chang 等，事实知识学习，arXiv:2406.11813v3，2024-11-12 版本。
- Lee 等，辅助视角，arXiv:2609.04180v2，2026-10-20 版本；作为较新相关研究，不认定为流传课件的来源。
- Penedo 等，RefinedWeb，arXiv:2306.01116v1，2023 年版本，第 3 节与 Figure 2；比率口径见正文。
- GLM-4 官方仓库及 GLM-4.5、GLM-5 技术报告，版本与各自训练口径见正文。
- Zelikman 等，STaR，arXiv:2203.14465v2，2022-05-20 版本；作为合成监督的补充实例。
仍未知：被转述课程的完整原始课件、课次、日期及口头解释；流传材料中约 40 次标注的直接引用；相关“上下文熵”说法的操作化定义；哪些观点确属智谱自己的训练实践。上述未知项在取得直接证据前不补写。本文未复现所引论文实验。
公开来源
本文仅供信息参考，详情请见免责声明。
← 继续阅读更多内容