AI硬件初创公司的窘境

除了近期宣布的少数几笔融资外，西方的AI领域一直都很平静。要打破Nvidia一家独大的局面，必须做些什么？

过去几年里冒出了许多AI硬件初创公司。AI的进步曾让投资者们热血沸腾，将AI处理器初创公司捧为“独角兽”。

Tirias Research的首席分析师Keven Krewell回忆说，“Intel在2016年收购Nervana真正打开了AI初创公司爆发的序幕。后来又收购了Habana。”他补充说，“我认为AMD收购Xilinx在很大程度上是因为Xilinx在开发AI内核方面的工作。”

快进到2023年。

许多知名的AI硬件初创公司已经消失，要么经历了大量裁员。在这个可预见的淘汰过程中，行业分析师是否预计AI处理器公司之间的流动性会如此之小？为什么近几年都没有进行任何合并或收购呢？

雪上加霜的是，曾经充裕的投资基金现在也正在枯竭。

Yole Intelligence的技术和市场分析师Adrien Sanchez确认说，“除了中国的AI处理器初创公司，我们看到西方公司的融资额确实有所下降。”

Yole从全球115家处理器初创公司收集了数据。它看到AI硬件创业公司发展呈现分化。在中国似乎是由政府主导，鼓励私人风投。

然而，西方的AI处理器初创公司最近也有一些发展。例如Cerebras和Tenstorrent。

Krewell说：“Gerebas通过G42的投资，在部署系统方面获得了大量投资。”Cerebras Systems上个月与阿联酋的G42签订了一份价值1亿美元的AI超级计算机交易。

Tenstorrent周三完成了由Hyundai Motor Group和Samsung's Catalyst Fund领投的1亿美元融资。Hyundai与Tenstorrent的投资协议促成了优化半导体的开发计划。Hyundai将把它们应用于“未来车辆的CPU和NPU”。

与几年前AI处理器公司的融资活动高峰相比，能够融到资的公司很少，资金规模也在缩水。

例如，Yole指出，2022年，“大约75%的资金是由中国的初创公司筹集的”，而不是西方公司。

枪林弹雨之前的宁静？‍‍

那么，为什么西方的AI创业社区陷入这般沉寂呢？

Tenstorrent的CEO Keith Witek将这一时刻描述为“枪林弹雨之前的宁静”。

Witek说，这是“一个西部枪战片的场景。每个人都拿着枪互相瞄准，每个人都在等待别人先开枪。”目前阻止枪战的sheriff是Nvidia。

如果没有与Nvidia实力相当的公司，很难想象斗争会爆发。

Krewell提到了Nvidia的压倒性优势。他说：“它的先发优势、为关键行业开发软件堆栈的投资以及深厚的技术储备……使得任何初创公司都很难找到有利可图的利基市场。”

像ChatGPT这样的大语言模型（LLM）的出现使情况更加复杂。

Yole的高级计算和软件分析师John Lorenz说：“最近取得成功的AI应用是由通用图形处理单元（GPGPU）训练的。与许多AI硬件初创公司追求的定制化芯片相比，这种解决方案（例如使用Nvidia CUDA）的灵活性是一大优势。”

重新开始和优化的成本‍‍

AI处理器的一个不为人知的小秘密是，通常他们的AI实际上无法开箱即用，需要大量的优化。

Nvidia不同，因为许多客户已经在使用Nvidia的工具链和软件生态系统了。Tenstorrent的CCO David Bennett解释说，Nvidia的一切都能开箱即用。

Bennett补充说，但要使一个模型达到最佳性能，即使是Nvidia，还有所有其他AI初创公司，也需要60人用6个月来优化它，这样它才能宣称自己的处理器比其产品都好。

即便如此，随着LLM的出现，所有的赌注都无效了。每个人都必须销毁一堆旧代码，然后重新优化。

AI模型的进步速度不仅使许多AI处理器初创公司放慢了步伐，更几乎扼杀了他们。对于一家初创公司来说，随着新模型的出现，快速扩大其业务几乎是不可能的。Bennett指出，当它优化自己的版本时，Nvidia及其客户已经升级到了新的最佳状态。

硬件灵活性‍‍

总的来说，Yole的Lorenz强调，“硬件灵活性是关键。模型和token规模正在以指数级增长，开发芯片比开发新模型需要更长的时间。”

认识到这点后，许多公司都将自己的处理架构称为“通用型”。

例如，Untether AI将其硬件宣传为“通用推理加速器”。

Untether AI的产品副总裁Bob Beachler承认，Transformer神经网络已经开始进入视觉AI应用领域（传统上，每个AI处理器都专注于CNN），但他发现，在最近的初创公司中出现了一种令人不安的趋势。“与标准数学相比，有些人试图通过做特定类型的数学来偷工减料。一旦你开始这样做，就会导致大量的数学变换，就会开始失去准确性。”

Beachler坚持，在开发处理器时，必须要看AI处理的整个问题。

他认为，一些AI硬件初创公司的失误在于，他们只关注AI处理中的特定方面，比如内存中的乘积累加或模拟。尽管这些都是好主意，但他们“忽略了你需要的所有其他数学……比如视频缩放、激活或者用于边框的非最大抑制。这些是在更通用的处理中所需要的类型。”

Tenstorrent的方法是将基于图计算的AI硬件和RISC-V计算内核结合起来。通过添加RISC-V内核，Tenstorrent打算提供一种内置灵活性的处理解决方案，以支持未来的模型。Tenstorrent的AI处理基于数据流架构。Bennett解释说，“如果出现了一个新的模型，可能在GPU上运行得不是很好，也许在传统的CPU上运行得更好。有了RISC-V计算内核，我们就能支持它。”

从商业角度来看，Tenstorrent声称在AI硬件竞争中具有优势。“我们没有把所有的鸡蛋都放在一个篮子里。我们有RISC-V，我们有AI，我们有IP，我们可以在找到正确的产品市场契合度的同时，通过授权或基于IP构建chiplet，在生态系统成熟的同时找到适合市场的产品。”

与Nvidia竞争还是搭便车？‍‍‍‍

问题的关键在于，任何创初创公司都不可能与Nvidia竞争。有些人认为他们处于更安全的地位，因为他们只关注AI推理。麻烦的是，Nvidia正在扩大其影响范围，包括推理。

到目前为止，还没人敢声称他们的AI处理器的性能要超出Nvidia好几倍。

也许更好的方法不是去竞争，而是加入Nvidia的生态系统。

Tenstorrent的CEO Jim Keller在最近的采访中明确表示：“我们不是要打败Nvidia……对于初创公司来说，挑战年收入超过250亿美元的巨头并不是一个好主意。”

Bennett强调，“除非你比Nvidia好10倍，否则客户没有必要改变他们的整个软件生态系统和他们的工具链……你的工具必须能够直接插入到围绕Nvidia构建的软件生态系统中。”

Tenstorrent提供了两个软件堆栈，其中最突出的是一个通用编译器，它“采用图形，启发式地查看模型，并在我们的硬件上运行”。Bennett解释说：“所有的机器学习模型（Pytorch、Tensorflow和其他模型）如今都可以在我们的硬件上运行。我们还为热爱内核硬件编程的人提供了自下而上的解决方案。我们为他们提供完全开放的硬件访问权限，采用完全开放的API，没有任何加密。”

AI硬件竞争格局的未来‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

在x86指令集架构的CPU的早期，曾有十几家公司参与竞争，但慢慢都消失了。三十年后，x86市场只剩下AMD和Intel。

然而，今天的AI处理器市场并不像x86的早期那样，Witek指出，因为Nvidia有着“巨大的市场份额和不成比例的优势”。

此外，AI处理器市场还有像Google、Amazon、Meta和Microsoft这样的超大规模企业。它们都不购买初创公司设计的AI处理器。相反，它们正在推出自己的处理器。它们为自己的AI处理器制定规格，并规定技术模块，以适应自己的AI工作负载。

在x86 CPU的早期，并不存在这样的垂直领域。

这个比较引出了一个问题，AI市场最终将如何发展？

在Witek看来，风投们正在等待初创公司击败现有企业。希望Clayton Christensen的《创新者的窘境》中所描述的经典场景可以再现。

与此同时，“Nvidia可能正在一边静观其变，等待着哪家初创公司一旦冒头，就悄悄将他们干掉。”

据Witek推断，像Google、Facebook和Amazon这样的大型垂直公司没有采取任何行动。他们可能认为如果自己能做到这一点，就可以获得更多的利润。所以就先尝试开发自己的。

Witek补充说，除非Nvidia冒犯了这些巨头，抢了他们的蛋糕。如果一个初创公司在创新生态系统中威胁到那些巨头（就像OpenAI和ChatGPT那样），这些巨头们才会有所行动。