AI 为什么越算越粗糙：量化不是偷工减料，是算力效率的关键革命

步步糕升

导语

       过去十年，单颗 GPU 的 AI 推理性能提升接近一千倍。英伟达首席科学家 Bill Dally 做过拆解：芯片制造工艺进步仅贡献约 2.5 倍收益；而数值精度压缩（量化）带来的提升约 16 倍。
      现在各大厂商发布会高频出现 FP8、FP4 这些名词，很多人会疑惑：为什么位数越少，标称算力反而越高？把数字变粗糙，AI 模型为什么不会直接变笨？
      本文通俗解析浮点数、量化的底层逻辑，从算、搬、存三个维度讲清低精度带来的收益；同时拆解下溢、离群值、分块缩放、随机取整等关键技术，对比 MXFP4、NVFP4、HF8 等新兴数字格式，看懂 AI 芯片竞争不止比拼晶体管工艺，“怎么定义数字尺子” 已经成为重要的技术护城河。

一、浮点数：芯片里面的一把 “数字尺子”

计算机里的浮点数，逻辑类似中学学的科学计数法，分为三部分：符号位、指数位、尾数位。

• 指数位：决定这把尺子的量程，能表示多大、多小的数字；
• 尾数位：决定尺子上面刻度的细密程度，代表计算精度。
  

同一个实数，放到不同精度格式下效果截然不同，以数字 2.7 举例：

• FP32（32 位）：几乎完整保留 2.7；
• FP16（16 位）：近似为 2.699；
• FP8（8 位）：变成 2.75；
• FP4（4 位）：直接近似为 3。
  

FP4 格式的尺子一共只有 15 个有效刻度，刻度分布不均匀，数值越大刻度间隔越稀疏。所有运算数字，都只能就近落到有限的刻度点位上。看上去误差巨大，但如今不管云端推理还是端侧部署，FP4 已经开始大规模落地，背后是算、搬、存三笔现实账本。
二、降低精度的三重收益：算、搬、存

1. 计算：更少比特，芯片可以放下更多运算单元

乘法器的面积、功耗大致和尾数位数的平方成正比。精度每往下一档，硬件可以集成更多乘法运算单元，芯片标称算力随之大幅提升。
2. 搬运：真正昂贵的不是计算，是数据移动

斯坦福 Mark Horowitz 经典测算：45nm 工艺下，完成一次 32 位浮点乘法耗电约 3.7 皮焦；从内存读取一个 32 位数字耗电约 640 皮焦，读取功耗是计算的 170 多倍。
大模型生成每一个 token，都要反复读取海量模型权重。减少每一个数字的比特位数，就直接降低内存带宽压力，这是低精度最大的收益来源。
3. 存储：显存占用直接减半再减半

以 700B 参数大模型举例：

• FP16 存储，需要约 140GB 显存；
• FP4 量化之后，仅需要 35GB 显存。
  

很多千亿参数开源大模型，把专家权重使用 4bit 格式，就可以塞进单张 80GB 显存的显卡，普通硬件就可以跑起大模型推理。

但这里出现核心矛盾：精度降低引入误差，为什么 AI 没有直接变笨？

三、为什么 AI 可以容忍粗糙计算？误差会互相抵消

神经网络是海量乘法、加法叠加运算。每一步取整有的数字偏大、有的偏小，大量误差会在求和过程当中互相抵消，类似统计一群人的身高，每个人测量都有小误差，但大量样本求平均值，结果依旧可靠。
容忍误差不等于可以无限制降低精度，每向下压缩一档精度，就会撞上一堵技术墙，业界十几年就是在不断翻越这一道道障碍。
第一堵墙：FP16 时代的梯度下溢

训练时梯度会出现大量极小数值。FP16 的指数量程不够，极小梯度直接被归为 0，参数再也得不到更新，模型学不动。解决方案：

• 混合精度训练：放大损失，让小梯度浮到可表示范围，计算完缩放回来，同时保留一份 FP32 高精度主权重作为账本；
• BF16：保留和 FP32 一样的指数量程，牺牲尾数刻度密度，优先保证数字不会溢出下溢。对 AI 训练来说，量程往往比刻度细密程度更重要。
  

第二堵墙：FP8 时代的离群值难题

大模型几十亿参数规模之后，激活值会出现离群值：少数个别数值远大于其余绝大多数数字。一整块张量共用同一套缩放标尺，为了装下这一个超大离群点，尺子量程被迫拉到很大；其余大量正常数字就被挤压到靠近 0 的位置，刻度变得极度稀疏，整体精度崩坏。
核心解法：分块缩放（块级量化）。不再整张张量共用一把尺子，切分成小块，每一块独立设置缩放系数，离群值最多只祸害自己所在的小块。DeepSeek‑V3 训练就大量使用该思路，权重、激活按 128 大小分块，敏感层保留更高精度，对比 BF16 训练相对损失控制在 0.25% 以内。
第三堵墙：FP4 时代，刻度仅剩 15 个点位

FP4 刻度极少，分块缩放从优化项变成必备条件。现在主流有两套微缩放 4bit 标准：

• MXFP4：OCP 开放标准，英伟达、AMD、英特尔、Meta、微软共同参与制定；每 32 个数字一组，缩放系数按 2 的倍数跳跃。属于开放通用标准，各家硬件都可以适配。
• NVFP4：英伟达自研，每 16 个数字一组，缩放粒度更精细；代价是每组额外存储缩放系数，带来少量额外开销。
  

4bit 推理已经成熟；4bit 完整预训练难度更高，训练过程成千上万轮迭代，误差如果单向累积，模型能力会持续退化。为解决训练风险，业界发展出三类关键手段：

• 哈达玛变换：量化之前做矩阵变换，把个别极端离群值摊分到一整组数据，让组内数值分布更加均匀，变换不改变乘法运算最终结果；
• 随机取整：不再总是就近取整，按距离概率向上或者向下取整，统计学上保证误差不会单向累积；
• 分层回退高精度：对输出层、注意力等对误差高度敏感的网络层，依旧保留更高精度。
  

国内华为昇腾也走出差异化路线，推出 HF8、HF4 渐变精度浮点数：大多数 AI 数值集中在 1 附近，就把靠近 1 的区间分配更多刻度，远离 1 的区域减少刻度，在有限比特下兼顾量程和精度。
四、看懂芯片发布会算力数字的陷阱

厂商 PPT 标称算力，和精度强绑定：

• FP4 算力 ≈ 2 × FP8 算力 ≈ 4 × FP16 算力。部分芯片还会叠加稀疏计算，理论算力还能再翻一倍。
  

对比芯片算力，必须固定同一数字格式对比。拿 A 芯片 FP4 算力对比 B 芯片 FP8 算力，得出的性能差距是虚假的。

摩尔定律放缓，晶体管微缩越来越昂贵。硬件工艺带来的提升逐步见顶，数字格式、量化算法、软硬件协同优化，正在成为算力提升最重要来源之一。
更深一层：数字格式本身正在变成产业护城河。模型如果原生按照 NVFP4 训练，在英伟达硬件上运行效果最优；如果采用开放 MXFP4，各大厂商硬件站到同一起跑线。一场关于 “定义数字尺子” 的标准竞争正在发生。

业界已经在探索更低比特，例如 1.58‑bit，权重只有‑1、0、+1 三种取值，乘法直接变为加减法；但比特越低，往往需要增加参数量弥补精度损失，“更粗更多参数” 和 “更精更少参数” 的最优平衡点至今没有定论。

五、大众 & 开发者高频认知误区澄清

误区 1：低精度量化就是偷工减料，精度越低模型效果必然越差

纠正：在误差可以互相抵消的神经网络场景，合理的分块量化，4bit 推理可以做到几乎和 BF16 差距很小；但不加处理粗暴降低精度，会直接造成模型崩坏。
误区 2：FP4 已经完美，训练推理全部可以无脑上 4bit

纠正：FP4 推理落地成熟；完整大模型预训练依旧难度很高，需要哈达玛变换、随机取整、分层高精度回退多重技术叠加。
误区 3：芯片标称算力越高就越强，不用看什么 FP8/FP4

纠正：算力数值是绑定精度的，跨精度直接对比芯片性能没有意义。
误区 4：离群值只是少数异常数字，可以直接删掉就解决问题

纠正：离群值携带真实模型信息，不能简单删除；分块缩放、矩阵变换才是工程主流方案。
误区 5：AI 所有场景都适合低精度量化

纠正：科学计算、金融仿真、高精度仿真任务对误差容忍极低，依旧需要 FP32 等高精度浮点数。AI 大模型推理训练对误差有天然容忍，是低精度量化的最佳土壤。
全文总结

AI 性能暴涨不单单依靠把晶体管越做越小。量化，也就是 “把数字算的粗糙一点”，贡献了过去十年 GPU 推理性能提升当中非常可观的一部分。
FP8、FP4 不是简单粗暴的降低精度，背后要翻越下溢、离群值、误差累积等多重技术高墙，诞生了分块缩放、随机取整、哈达玛变换、BF16、MXFP4、NVFP4、HF8 等一系列软硬件协同方案。
神经网络海量运算会抵消随机误差，这是低精度可以工作的底层基础，但这不代表可以无限制压缩精度。摩尔定律放缓的时代，如何区分哪里可以粗糙、哪里必须保持高精度，定义 AI 世界的 “数字尺子”，已经成为算力竞争的核心战场。