芯耀
1803
近日，在Google Cloud Next 2025大会上，谷歌发布了第七代张量处理单元（TPU）——Ironwood。
作为Google迄今为止性能最强大的AI芯片，Ironwood专为AI推理任务设计，标志着AI技术从传统的“反应式”模型向“主动式”智能体的转型。相较于2018年的第一代TPU，Ironwood的推理性能提升了3600倍，效率提高了29倍。单芯片配备192GB高频宽内存（HBM），峰值算力达4614 TFLOPs，并支持1.2Tbps的芯片间互连（ICI）带宽。
相较于前代Trillium，Ironwood能效提升了两倍，最高配置的9216颗芯片集群总算力高达42.5 Exaflops，超过全球最大超级计算机El Capitan的24倍。
官方声称，Ironwood代表着 AI 基础设施的重大转变。为什么这样说？
01、为什么说 Ironwood，代表着AI基础设施的重大转变？
➡️ AI基础设施的发展重心：从训练优先过渡到推理时代
Google 如此大力投入并推出针对推理优化的硬件，也预示着他们认为未来的 AI 应用将更加依赖于快速、高效的推理能力。例如，实时语音识别、自然语言理解、推荐系统、自动驾驶等都对推理的性能和效率有着极高的要求。Ironwood 的出现正是为了支撑这些未来趋势。
过去的 AI 硬件发展，尤其是像 Google 的早期 TPU，往往更侧重于加速模型训练。训练需要巨大的算力来处理海量数据。然而，随着大型模型训练的日益成熟，以及 AI 应用的广泛落地，模型推理（将训练好的模型应用于实际场景进行预测和决策）的需求正在爆炸式增长。 Ironwood 明确地针对推理进行了优化，这标志着 AI 基础设施发展重心开始向推理倾斜，或者至少是训练和推理并重。
正如官方所称，Ironwood的推出标志着AI发展及AI基础设施的一大重要转变。它代表了从响应式AI模型（提供实时信息供人们解读）到主动生成洞察与解释模型的转变。
这就是我们所说的“推理时代”，在这一阶段，AI代理将主动检索并生成数据，以协作的方式提供见解和答案，而不仅仅是提供原始数据。
➡️ 需要重新思考和设计AI基础设施，以满足推理需求
传统的CPU和GPU在处理大规模、低延迟的AI推理任务时可能存在瓶颈，例如能效比不高、延迟较高等问题。虽然具体针对Ironwood与传统GPU在推理任务上的直接性能对比数据尚未完全公开，但通常而言，像Ironwood这样专为推理设计的加速器，在处理特定类型的AI模型（尤其是大型神经网络）时，能够提供远高于通用GPU的吞吐量和更低的延迟。 这得益于其针对性的架构优化，例如更高效的矩阵运算单元和更大的片上内存。Ironwood作为专为推理设计的加速器，能够更高效地执行这些任务。这可能会促使行业重新思考和设计现有的AI基础设施，以更好地满足推理的需求。
更重要的是，Ironwood惊人的能效提升（能效是Trillium的两倍，相较于 2018年的第一代Cloud TPU提升了近 30 倍）对于大规模 AI 部署至关重要。在AI模型日益庞大的今天，运行和维护这些模型需要巨大的能源消耗。Ironwood的高能效不仅能显著降低运营成本，还能减少数据中心的碳排放，对于AI的可持续发展具有重要意义。
➡️ 推动所有基础设施同行创新和竞争
Google在AI硬件领域的突破，特别是针对推理的专注，会给其他竞争者（如 NVIDIA、AMD、Intel以及其他云服务提供商）带来压力，促使他们也在推理硬件和基础设施方面加大投入和创新。这种竞争将加速整个行业的技术进步。
02、Ironwood 将如何转变，AI 基础设施？
➡️ 出现更专业化的硬件
Ironwood的出现可能会引领行业走向更专业化的AI硬件时代。未来，我们可能会看到更多针对特定AI任务（如推理、特定模型架构等）优化的硬件出现，而不再仅仅依赖通用的GPU。
➡️ 异构计算的普及
AI工作负载通常包含多种不同的计算任务。Ironwood的加入可能会加速异构计算的普及，即根据不同的任务选择最合适的硬件来执行，例如用 TPU 进行推理，用GPU或CPU进行其他类型的计算。这将提高整体的效率和性能。
➡️ 云端推理能力的增强和普及
Google Cloud大规模部署Ironwood 将直接提升其云端AI推理能力。这将使得更多的企业和开发者能够以更低的成本、更高的效率使用先进的AI推理服务，从而推动AI在各行各业的应用。其他云服务提供商也可能会效仿，加大在推理基础设施方面的投入。
➡️ 边缘 AI 的发展加速
虽然Ironwood目前主要部署在云端，但其在能效方面的提升，以及未来可能出现的更小、更低功耗的推理芯片，也将为边缘AI的发展带来机遇。边缘设备将能够直接进行更复杂的AI推理，而无需依赖云端，从而实现更快的响应速度和更好的隐私保护。
➡️ 软件生态的演进
新的硬件架构需要相应的软件生态支持才能发挥其全部潜力。Ironwood的推出将推动针对TPU的推理优化工具、框架和库的开发和完善，使得开发者能够更方便地利用其强大的推理能力。这也会促进整个AI软件生态系统的发展。
概括来讲，Ironwood代表着 AI 基础设施发展方向的重要转变，它标志着行业对AI模型推理的重视程度日益提升，并预示着未来AI基础设施将更加专业化、异构化，云端和边缘的推理能力都将得到显著增强，最终推动AI技术更广泛、更深入地融入到我们的生活和工作中。
