TFLOPS时代正在结束吗？AI芯片真正应该用什么指标评价？

——从TFLOPS走向tokens/s、tokens/J、tokens/$、MFU、TTFT和TPOT

如果今天还有一家AI芯片公司发布新品，PPT第一页大概率仍然会出现一个非常醒目的数字：

多少TFLOPS，或者多少PFLOPS。

数字越来越大。

FP16、BF16、FP8、FP4一路往下走，峰值算力一路往上冲。

但与此同时，一个越来越尴尬的问题也出现了：

为什么两颗TFLOPS差距很大的GPU，跑真实模型时差距可能没那么大？

甚至反过来：

为什么峰值算力看起来接近的两套AI系统，最终训练时间、推理吞吐、用户延迟和成本却可以差很多？

答案是：

TFLOPS衡量的是计算单元理论上能够完成多少数学运算，但客户购买的并不是数学运算。

训练大模型的客户真正购买的是：

多久能把模型训练完。

推理客户购买的是：

在用户能够接受的延迟下，每秒可以服务多少请求。

云厂商购买的是：

同样一兆瓦电力能够生产多少Token。

最终经营AI服务的公司购买的是：

一美元能够生产多少有用的Token。

所以TFLOPS并没有失去意义。

但它正在发生一次非常重要的“降级”：

从最终性能指标，退回成一个底层能力指标。

AI计算真正的评价体系，正在从一个数字变成一组指标：

tokens/s

tokens/J

tokens/$

MFU

TTFT

TPOT

理解这六个指标，可能比继续盯着下一代GPU又增加多少PFLOPS，更接近AI计算产业真正发生的变化。

一、为什么TFLOPS曾经那么重要？

先不要急着“反TFLOPS”。

TFLOPS能够长期成为芯片性能的核心指标，并不是没有原因。

FLOPS是Floating Point Operations Per Second，也就是每秒能够完成多少次浮点运算。

对于很多传统HPC任务而言：

计算量相对明确；

数值精度相对固定；

算法结构相对稳定。

因此如果两颗芯片执行同一种FP64科学计算，一颗能够完成更多FLOPS，它通常确实拥有非常重要的性能优势。

AI刚刚进入GPU时代时，这套逻辑也非常好用。

深度学习最核心的操作，就是大量矩阵乘法。

于是：

更多Tensor Core
→ 更多矩阵运算
→ 更快训练。

但问题在于，AI系统后来发生了三个变化。

第一，精度越来越低。

FP32变成FP16、BF16、FP8，进一步变成FP4。

第二，模型越来越大。

单GPU已经放不下模型，需要几十、几百甚至几千颗GPU共同运行。

第三，瓶颈越来越多出现在计算单元之外。

HBM、KV Cache、NVLink、以太网、软件调度、功耗、液冷，都开始决定最终性能。

于是TFLOPS和真实应用性能之间的距离越来越远。

二、第一个问题：今天两个“PFLOPS”甚至可能不是同一个东西

如果看到两颗AI芯片：

A：10 PFLOPS

B：5 PFLOPS

能不能直接说A快一倍？

不能。

首先必须问：

什么精度？

FP16？

FP8？

FP4？

INT8？

其次还要问：

Dense还是Sparse？

如果一个厂商统计稀疏计算峰值，另一个统计Dense计算，两个数字根本不能直接放在一起。

还要继续问：

这个峰值针对哪一种矩阵形状？

有没有结构化稀疏要求？

模型是否能够在这个精度下保持同等质量？

Compiler和Kernel能不能把真实模型映射到这些计算单元？

HBM能不能持续把数据送进去？

所以今天看到“10 PFLOPS”，更准确的理解应该是：

在一系列规定条件成立时，这颗芯片的数学计算上限是10 PFLOPS。

它告诉我们发动机理论上有多大。

但没有告诉我们汽车实际跑多快。

三、AI时代真正的问题，是Peak FLOPS怎么变成Delivered Performance

假设一颗GPU拥有非常高的矩阵计算能力。

Tensor Core已经准备好了。

但模型权重还没有从HBM读进来。

Tensor Core只能等。

模型被切到8颗GPU。

其中一颗算完以后，需要等另外7颗做Collective Communication。

Tensor Core继续等。

GPU计算完成以后，Runtime调度下一个Kernel存在空洞。

继续等。

于是你会发现：

峰值算力描述的是“GPU忙起来以后能有多快”，真实性能还取决于GPU到底能忙多少时间。

这也是为什么AI计算真正重要的问题开始从：

“这颗芯片有多少TFLOPS？”

变成：

“这些TFLOPS最终有多少变成了有用的模型计算？”

于是第一个更有意义的指标出现了。

四、MFU：1000 PFLOPS里，到底有多少真正用上了？

MFU，全称：

Model FLOPs Utilization。

这是Google在PaLM论文中系统提出并使用的一个指标。

它衡量的核心问题非常简单：

模型真正完成的有效计算，占硬件理论峰值计算能力的多少？

可以粗略理解为：

MFU = 实际模型计算吞吐 / 理论峰值计算吞吐

PaLM论文中特意区分MFU和传统Hardware FLOPs Utilization，是因为某些训练技术，例如Activation Rematerialization，会让硬件执行更多计算，却不一定意味着训练进度更快。

换句话说：

把GPU跑得很忙，并不等于把模型训练得很快。

PaLM 540B当时在6144颗TPU v4上报告了46.2%的MFU，并明确把MFU定义为实际tokens/s相对于系统理论最大模型tokens/s的比例。

这个指标的重要性在于：

它第一次把问题从：

GPU理论上有多强？

变成：

软件、模型和系统到底把GPU利用到了什么程度？

假设有两套训练系统。

A系统：

100 PFLOPS峰值 × 60% MFU
= 60 PFLOPS有效模型计算。

B系统：

130 PFLOPS峰值 × 40% MFU
= 52 PFLOPS有效模型计算。

只看芯片参数，B更强。

但真正训练模型，A反而可能更快。

这就是为什么：

峰值算力必须和利用率一起看。

五、但MFU也不是万能指标

MFU非常适合研究：

大模型训练效率；

并行策略；

Compiler优化；

通信开销；

Kernel效率。

但它不能直接成为AI芯片唯一Benchmark。

因为MFU本质上仍然是一个：

“离理论FLOPS上限有多近”

的指标。

假设一颗芯片理论峰值很低，但MFU达到80%。

另一颗芯片峰值高三倍，MFU只有50%。

显然后者仍然可能更快。

而且不同模型架构的有效FLOPs定义并不完全相同。

Dense Transformer、MoE、稀疏模型以及未来更复杂的架构，都可能让简单MFU比较变得困难。

因此评价训练系统时，真正应该把几个指标放在一起：

峰值FLOPS + MFU + tokens/s + Time-to-Train

而不是单独拿任何一个数字宣布胜负。

六、到了推理时代，TFLOPS的问题更大

训练至少还有一个特点：

大量矩阵计算。

但LLM推理尤其进入Decode阶段以后，情况发生了明显变化。

一个LLM请求可以粗略拆成两个阶段：

Prefill

用户一次输入大量Token。

例如：

8000 Token上下文。

GPU可以同时处理大量输入，矩阵比较大，通常拥有更高计算并行度。

Decode

模型开始：

一个Token，

一个Token，

一个Token地输出。

这时候每一步都要读取模型权重，并不断访问KV Cache。

计算并行度下降，内存访问的重要性提高。

于是会发生一种很典型的情况：

GPU拥有大量剩余TFLOPS，却跑不出同比例更高的Token速度。

原因并不是Tensor Core不够。

而可能是：

HBM带宽不够；

KV Cache占满显存；

Batch太小；

通信延迟过高；

Runtime调度效率不足。

所以到了LLM推理阶段：

Token开始比FLOP更接近真正的产品。

七、第一个推理核心指标：tokens/s

tokens/s很好理解：

系统每秒能够处理或者生成多少Token。

NVIDIA现在甚至已经明确把AI Factory的产出描述为Token throughput，并把tokens/s、tokens/W、cost per token、利用率和Uptime放进AI基础设施经济性的核心指标。

这其实是一个非常大的变化。

因为评价单位正在从：

芯片内部的FLOP，

变成：

模型真正完成的Token。

2026年的MLPerf Inference v6.0也已经直接使用tokens/s衡量多个LLM工作负载的实际吞吐，并同时设置准确率和延迟约束。

tokens/s为什么比TFLOPS进一步？

因为它已经把：

芯片架构、

HBM、

互联、

Kernel、

Compiler、

Runtime，

至少部分折算进最终结果里了。

八、但“tokens/s”也是最容易被滥用的AI指标之一

看到：

“我们的系统达到100万tokens/s。”

第一反应不应该是：

“好快。”

而应该问至少六个问题：

什么模型？

7B和700B没有任何可比性。

什么精度？

FP16、FP8、FP4甚至INT4都可能改变吞吐。

输入长度是多少？

1K context和128K context完全不同。

输出长度是多少？

生成32个Token和生成8000个Token对应完全不同的负载。

什么Batch或者Concurrency？

极高Batch可以把总吞吐做得非常漂亮，却让单个用户等待很久。

延迟约束是多少？

如果允许用户等待一分钟，系统当然可以积累大量请求一起Batch。

这意味着：

脱离延迟谈tokens/s，几乎和脱离工作负载谈TFLOPS一样危险。

于是需要引出两个推理时代极其重要的指标：

TTFT和TPOT。

九、TTFT：用户等多久，AI才开始说话？

TTFT：

Time To First Token。

从请求发送，到用户收到第一个输出Token需要多长时间。

它主要受到：

排队；

Prefill；

输入Context长度；

网络；

调度；

模型并行，

等因素影响。

对于Chatbot、Copilot、搜索和Agent等交互型应用而言，TTFT非常重要。

因为用户最敏感的体验不是：

整篇回答最后用了多少秒。

而是：

我按下Enter以后，它什么时候开始回应？

两套系统都可以做到总吞吐10万tokens/s。

但：

A系统TTFT是300ms；

B系统TTFT是5秒。

它们提供的完全不是同一种产品体验。

MLPerf Inference v6.0已经把这种区别直接写进Benchmark。

例如在GPT-OSS 120B工作负载中，Interactive场景要求99分位TTFT不超过2秒，同时TPOT不超过15ms；Server场景则允许TTFT不超过3秒、TPOT不超过80ms。

注意这里使用的是：

99分位。

而不仅仅是平均值。

因为线上推理真正令人头疼的往往不是平均用户，而是负载高峰时尾部请求突然变慢。

十、TPOT：AI开始回答以后，说话速度有多快？

TPOT：

Time Per Output Token。

简单理解，就是第一个Token出来以后，每生成一个新Token平均需要多长时间。

它和我们常说的单用户generation speed大致互为倒数。

例如：

TPOT = 20ms

大致意味着：

每秒约50个输出Token。

所以：

TTFT解决的是：

什么时候开始说话？

TPOT解决的是：

开始说话以后说得多快？

这两个指标分别对应了LLM推理的两个不同阶段。

TTFT更容易受到Prefill影响。

TPOT则更直接暴露Decode效率。

于是突然之间：

HBM带宽、

KV Cache、

内存容量、

Decode并行策略，

开始比单纯TFLOPS重要得多。

十一、这里出现一个AI推理最核心的权衡：吞吐 vs 延迟

假设运营商只有一个目标：

最大化tokens/s。

最简单的办法是什么？

增加Batch。

让更多请求一起运行。

这样GPU矩阵变大，利用率提高，总Token吞吐上升。

但代价是什么？

用户可能必须排队。

TTFT开始变差。

每个用户分到的资源减少以后，TPOT也可能变差。

于是：

最高tokens/s的运行点，往往不是最佳用户体验运行点。

反过来，如果坚持：

每个用户TTFT必须极低，

每个用户TPOT必须极低，

GPU可能没有足够请求进行Batch。

利用率下降。

总tokens/s也下降。

因此真正应该看的不是某一个最大吞吐数字。

而是一条：

Latency–Throughput Curve。

横轴可以是吞吐。

纵轴可以是TTFT或者TPOT。

真正优秀的系统，是在相同延迟SLO下提供更高吞吐。

这比“峰值tokens/s”更接近实际部署。

十二、所以我更建议再引入一个概念：Goodput

虽然题目里的六个指标已经足够重要，但做产业分析还应该多看一步。

不是：

Throughput。

而是：

Goodput。

也就是：

满足指定SLO的有效吞吐量。

例如：

TTFT < 1秒；

TPOT < 30ms；

准确率达到规定标准。

满足这些条件的请求，才计入有效产能。

这样就能够避免一个非常典型的Benchmark陷阱：

通过无限增加Concurrency，把系统tokens/s做到非常高，

但实际上：

用户全在排队。

对于商业推理系统而言：

不满足服务质量要求的Token，不应该和正常Token拥有同样价值。

十三、当数据中心首先受限于电力，tokens/J开始超过TFLOPS/W

再往下一层看，就出现了：

tokens/J。

也就是：

每消耗一焦耳能源，可以生产多少Token。

因为：

1W = 1J/s，

所以tokens/J和tokens/W·s本质上描述的是同一类能源效率问题。

为什么这个指标越来越重要？

因为大型AI数据中心正在遇到一个非常现实的约束：

电力不是无限的。

假设一个数据中心只有1GW供电。

你不能因为GPU更便宜，就突然获得2GW电。

所以如果A系统：

每MW产生100万tokens/s，

B系统：

每MW产生150万tokens/s，

那么在相同电力条件下，B实际上拥有50%更大的AI产能。

NVIDIA现在公开讨论AI Factory经济性时，已经非常明确地把tokens per watt视为核心指标之一。

这背后的逻辑其实非常简单：

当芯片不是最稀缺资源，而电力成为稀缺资源时，Performance/Watt就开始变成Revenue/Watt。

十四、但tokens/J也有一个巨大的统计陷阱：到底量哪里的电？

假设一家厂商说：

“我们的系统达到10 tokens/J。”

必须追问：

这个功耗是：

GPU芯片功耗？

加速卡功耗？

服务器墙上功耗？

整个Rack功耗？

还是数据中心设施输入功耗？

它们完全不是同一个东西。

因为AI系统还有：

CPU；

HBM；

NIC；

交换芯片；

光模块；

风扇或水泵；

Power Shelf；

CDU；

供电转换损耗。

甚至数据中心还有PUE。

因此真正严谨的tokens/J比较，必须声明：

Energy Boundary。

否则一家厂商统计GPU TDP，

另一家统计整机墙上功耗，

两者根本不能比较。

随着AI竞争从GPU进入Rack和AI Factory，这个问题只会越来越重要。

十五、真正进入商业竞争以后，最终指标很可能是tokens/$

如果tokens/s回答：

快不快？

tokens/J回答：

省不省电？

那么tokens/$回答的是：

这套系统到底赚不赚钱？

这是AI推理最终绕不开的问题。

可以非常粗略地写成：

tokens/$ = 有效Token产出 / 总成本

或者反过来看：

$/million tokens

这里的成本至少可能包括：

GPU；

CPU；

HBM；

服务器；

网络；

交换机；

机柜；

电力；

冷却；

数据中心；

运维；

软件；

设备折旧。

于是一个很有意思的情况可能发生。

A GPU比B GPU贵50%。

但A系统：

性能高一倍；

用电低20%；

需要更少的Rack；

需要更少网络；

利用率更高。

那么A最终的Cost per Token反而可能更低。

反过来也一样。

一颗芯片价格便宜，并不意味着系统便宜。

这就是为什么只比较：

GPU ASP

在AI基础设施时代越来越危险。

十六、AMD和NVIDIA为什么都开始讲“Token Economics”？

这已经不是理论推演。

2026年NVIDIA对AI Factory的公开表述，已经明确把经济指标描述成：

tokens/s、

tokens/W、

cost per token、

利用率和uptime。

AMD发布Helios时，同样没有只强调MI455X峰值算力，而是直接声称Helios在其指定Kimi K2 Thinking工作负载、输入输出长度、交互水平和价格假设下，可以提供更高的inference tokens per dollar。AMD的脚注同时明确说明，这是AMD自己的性能实验室估算，并依赖特定工作负载及价格预测，因此不能直接外推为所有模型、所有客户环境下的普遍结论。

这两个案例真正重要的不是谁的数字更高。

而是：

两家主要GPU厂商都开始把竞争单位从FLOPS推向Token Economics。

因为一旦产品从GPU扩展到Rack，

只比较单颗芯片的TFLOPS已经无法描述价值。

十七、但tokens/$可能比TFLOPS更容易制造“营销数字”

这是特别需要警惕的一点。

TFLOPS虽然不完整，但至少定义相对明确。

tokens/$里面却包含大量人为假设。

例如：

GPU按照采购价还是云服务价格？

折旧几年？

利用率按60%还是90%？

电价是多少？

网络成本算不算？

液冷基础设施算不算？

设备残值多少？

一年停机多少小时？

软件工程成本算不算？

所以看到：

“tokens/$提高5倍”

第一反应仍然不应该是相信。

而应该问：

这个“$”究竟包含什么？

严格来说，至少应该区分两种概念。

Price per Token

按照云服务价格或者租赁价格计算。

它反映：

客户付多少钱。

TCO per Token

按照设备整个生命周期总成本计算。

它反映：

运营商真正付多少钱。

两者不能混为一谈。

十八、还有一个比成本统计更深的问题：一个Token和另一个Token真的等价吗？

这可能是所有“Token经济学”里最容易被忽视的问题。

假设：

模型A每秒产生1000 Token。

模型B每秒产生500 Token。

能否说A的智能产出是B两倍？

当然不能。

因为：

模型大小可能不同；

回答质量不同；

推理能力不同；

准确率不同。

甚至同一个模型：

FP16、

FP8、

FP4，

如果量化导致质量变化，那么不同配置生成的Token本身也不是完全同质的商品。

更进一步。

Reasoning模型可能通过生成更多推理Token提高答案质量。

于是出现一个反直觉情况：

一个系统产生更多Token，有时意味着它消耗更多计算才能完成同一个任务，而不是生产了更多价值。

因此tokens/s、tokens/J和tokens/$想成为严肃指标，都需要一个隐藏前提：

Quality必须基本相同。

这也是为什么MLPerf等标准化Benchmark不仅规定性能测试，还必须规定Accuracy Target。MLPerf Inference v6.0甚至针对GPT-OSS分别设计性能与准确率数据集，并加入Compliance Check确保优化后的系统仍达到准确率要求。

所以真正严谨的说法不是：

tokens/$越高越好。

而是：

在相同模型质量、相同工作负载和相同SLO下，tokens/$越高越有意义。

十九、所以评价AI芯片，其实需要分训练和推理两套指标体系

这是最重要的结论之一。

不能再问：

“这颗AI芯片性能怎么样？”

而不说明：

跑什么。

训练系统，我会优先看：

1. Peak FLOPS

硬件理论上限。

仍然重要。

但只是起点。

2. MFU

峰值计算有多少真正变成模型计算。

它可以暴露：

Kernel、

Compiler、

并行策略、

网络通信，

是否存在严重浪费。

3. Training tokens/s

整个系统每秒真正处理多少训练Token。

4. Scaling Efficiency

GPU从1000颗增加到2000颗以后，性能是否接近翻倍。

5. Time-to-Train

最终训练完成需要多久。

6. Energy-to-Train / Cost-to-Train

把整个模型训到目标Loss，需要多少电、多少钱。

最后一个其实最接近商业结果。

二十、推理系统则应该完全换一套逻辑

1. TTFT

用户多久看到第一个Token。

衡量：

响应性。

2. TPOT

第一个Token之后生成速度如何。

衡量：

单用户体验。

3. tokens/s

系统总共能生产多少Token。

衡量：

吞吐。

但必须绑定Latency SLO。

4. tokens/J

单位能源产生多少Token。

衡量：

能源效率。

但必须明确功耗统计边界。

5. tokens/$

单位成本能够生产多少Token。

衡量：

经济效率。

但必须明确成本模型。

6. Goodput

满足TTFT、TPOT和质量要求以后，还剩多少真正有效的吞吐。

这个指标尤其接近真实云服务。

二十一、可以把整个评价体系压缩成这样一张表

| 指标            | 它回答的问题           | 最主要暴露什么瓶颈           | 最容易被怎样误用             |
| ------------- | ---------------- | ------------------- | -------------------- |
| TFLOPS/PFLOPS | 芯片理论能算多快？        | 计算单元                | 混精度、混Sparse/Dense    |
| MFU           | 峰值算力利用了多少？       | 软件、通信、并行            | 把高MFU等同于高绝对性能        |
| tokens/s      | 系统实际产出多少？        | 全系统                 | 不说明模型、长度和Concurrency |
| TTFT          | 用户多久看到第一Token？   | Prefill、排队、调度       | 只报平均值，不看P99          |
| TPOT          | 开始输出后生成多快？       | Decode、HBM、KV Cache | 和总吞吐混淆               |
| tokens/J      | 一度电能产生多少有效Token？ | 能效、供电、系统设计          | 统计边界不同               |
| tokens/$      | 一美元买到多少Token？    | TCO                 | 成本假设和模型质量不同          |

真正严谨的AI芯片比较，至少需要从这张表里选出与工作负载匹配的一组指标。

而不是挑一个自己最好看的数字。

二十二、为什么未来“参数大战”会越来越难看懂？

因为优化不同指标的技术路线开始分叉。

想提高MFU：

可能需要Kernel Fusion、通信计算Overlap、更优并行策略。

想提高tokens/s：

可能增加Batch、Continuous Batching。

但Batch增加以后TTFT可能变差。

想改善TPOT：

可能给单个请求更多GPU。

但这样总tokens/$可能变差。

想提高tokens/J：

可能降低GPU运行频率。

峰值tokens/s又可能下降。

想改善tokens/$：

可能使用更激进的FP4量化。

但模型质量必须重新验证。

这意味着下一代AI系统不存在一个简单的：

“性能最大化。”

真正的问题是：

在一组约束条件下做多目标优化。

这恰恰是AI芯片从芯片问题走向系统问题的又一个证据。

二十三、所以未来最没有意义的Benchmark是什么？

可能就是：

把两个完全不同的AI系统，各自挑出最大的那个数字，然后直接除一下。

A有20 PFLOPS。

B有10 PFLOPS。

所以A两倍快。

不成立。

A有20万tokens/s。

B有10万tokens/s。

所以A两倍好。

仍然不成立。

A有2倍tokens/$。

如果模型、上下文、SLO和成本假设不同，

依然不成立。

真正值得比较的至少应该固定：

同模型；

同模型质量；

同精度或等效质量；

同输入长度；

同输出长度；

同TTFT/TPOT约束；

同系统规模；

同成本边界。

然后再比较：

有效吞吐、能效和经济性。

只有这样，Token Economics才不会变成下一个TFLOPS营销大战。

二十四、SEMI的数据其实也在告诉我们：性能评价为什么一定会走向系统

这一变化不仅发生在GPU厂商的PPT里。

资本开支也开始沿着整个系统扩散。

SEMI在2026年的预测中预计，全球300mm存储设备投资达到520亿美元，同比增长29%；其中DRAM设备投资达到370亿美元，一个明确驱动力就是HBM和AI加速器。

与此同时，SEMI对2026年全球半导体制造设备的最新预测达到1659亿美元，除了前道设备扩张，测试与封装设备也继续增长。

这背后的产业含义是：

AI性能提升已经不只是：

“制造一颗拥有更多Tensor Core的先进制程GPU。”

还需要：

HBM提供数据；

先进封装把GPU和HBM连接起来；

网络把更多GPU连接起来；

软件提高利用率；

供电和冷却保证整个系统长期运行。

既然真正的性能来源已经跨越整个系统，

评价体系当然也迟早必须跨越整个系统。

二十五、未来真正应该问的，不再是“这颗GPU有多少PFLOPS”

而应该根据场景换问题。

如果是训练：

同样模型达到同样Loss，需要多少时间、多少GPU小时、多少度电、多少钱？

如果是在线推理：

在P99 TTFT和TPOT达到SLO的前提下，每秒能服务多少有效Token？

如果是AI数据中心：

一个MW能够持续生产多少符合质量要求的Token？

如果是云服务商业模型：

一百万个有效Token的全生命周期成本是多少？

如果是芯片架构：

峰值TFLOPS中到底有多少最终成为这些Token？

你会发现：

到了最后，

TFLOPS没有消失。

它仍然在所有这些指标下面。

但它已经变成：

一个中间变量。

而不是终点。

结语：TFLOPS时代没有结束，但“唯TFLOPS时代”正在结束

未来GPU当然还会发布越来越高的PFLOPS。

FP8会继续提高。

FP4会继续提高。

甚至还会出现更低精度和更多专用计算结构。

所以说：

“TFLOPS已经没有意义”，

显然是错的。

它仍然是理解芯片计算能力最基本的物理指标之一。

真正发生变化的是：

我们不再能够从TFLOPS直接推导客户价值。

中间隔着越来越多层：

HBM；

互联；

并行；

Compiler；

Kernel；

Runtime；

Batching；

KV Cache；

供电；

冷却；

利用率；

故障率。

所以AI芯片的评价体系正在发生一次非常重要的迁移：

从：

Peak Compute

走向：

Delivered Compute

再进一步走向：

Delivered Intelligence Economics。

如果一定要用一句话概括这场变化，可以这样说：

TFLOPS回答的是“这台机器理论上能做多少计算”；

MFU回答的是“这些计算有多少真正用上了”；

tokens/s回答的是“最后生产了多少”；

TTFT和TPOT回答的是“用户等了多久”；

tokens/J回答的是“用了多少电”；

tokens/$回答的是“最终值不值钱”。

而当AI计算进入Rack、POD和AI Factory时代以后，

真正决定胜负的，也许不再是：

谁拥有最高的那个PFLOPS数字。

而是：

谁能在相同模型质量和延迟约束下，把每一瓦电、每一美元资本和每一颗昂贵GPU，转换成更多真正有用的Token。

这可能才是AI计算从“芯片性能时代”进入“系统经济性时代”的真正分界线。