昨天,初创公司 Cerebras Systems 宣布推出有史以来最大的芯片 Wafer Scale Engine(WSE)。

 

据悉,WSE 拥有 1.2 万亿个晶体管,这是一个什么概念呢?比较一下,1971 年英特尔首款 4004 处理器拥有 2300 个晶体管,最近,AMD 推出的最新处理器拥有 320 亿个晶体管。由此可见 WSE 规模之庞大。

 

 

大多数芯片是在 12 英寸硅晶圆上制造的,并在芯片工厂中批量处理。但 Cerebras Systems 芯片是在单个晶圆上通过互联实现的单芯片。这些互连设计使其全部保持高速运行,可使万亿个晶体管全部一起工作。

 

Cerebras Wafer Scale Engine 专门针对处理人工智能应用程序而设计的。该公司本周正在加利福尼亚州帕洛阿尔托的斯坦福大学举行的 Hot Chips 会议上讨论这项设计。

 

此前,三星已经制造了一个闪存芯片,即 eUFS,拥有 2 万亿个晶体管。但 Cerebras 芯片拥有 400,000 个核心,42,225 平方毫米。它比最大的 Nvidia 图形处理单元大 56.7 倍,该单元的尺寸为 815 平方毫米和 211 亿个晶体管。

 

与传统芯片相比,WSE 还包含 3000 倍的高速片上存储器,并且具有 10000 倍的存储器带宽。

 

该芯片来自 Andrew Feldman 领导的团队,后者曾创建微型服务器公司 SeaMicro,并以 3.34 亿美元的价格出售给了 AMD

 

 

芯片尺寸在 AI 中非常重要,因为大芯片可以更快地处理信息,在更短的时间内产生答案。减少训练时间,使研究人员能够测试更多想法,使用更多数据并解决新问题。谷歌,Facebook,OpenAI,腾讯,百度和许多专业人士都认为,今天人工智能的主要限制是训练需要很长时间。因此,缩短训练时间就消除了整个行业进步的主要瓶颈。

 

当然,芯片制造商通常不会制造如此大的芯片。在单个晶圆上,在制造过程中通常会产生一些杂质,杂质会导致芯片发生故障。如果晶圆上只有一个芯片,它有杂质的几率是 100%,杂质会使芯片失效。但 Cerebras 设计的芯片是有冗余的,因此一种杂质不会破坏整个芯片。

 

WSE 有很多创新,通过解决限制芯片尺寸的数十年的技术挑战 - 例如交叉光罩连接,良率,功率输送,以及封装等,Cerebras Systems 首席执行官费尔德曼说。“每个架构决策都是为了优化 AI 工作的性能。结果是,Cerebras WSE 根据工作量提供了数百或数千倍于现有解决方案的性能,只需很小的功耗和空间。“

 

WSE 通过加速神经网络训练的所有元素来实现这些性能提升。神经网络是多级计算反馈回路。较快的输入在循环中移动,循环学习的速度越快,从而减少了训练时间。

 

Linley Group 首席分析师 Linley Gwennap 在一份声明中说:“Cerebras 凭借其晶圆级技术实现了巨大的飞跃,在单片晶圆上实现了更多的处理性能。” 为了实现这一壮举,该公司已经解决了一系列工程难题,包括实施高速芯片到芯片通信,解决制造缺陷,封装如此大的芯片,以及电源和冷却等问题。通过将各种学科的顶级工程师聚集在一起,Cerebras 在短短几年内创造了新技术并交付了产品。

 

据悉,该芯片面积比最大的 GPU 多 56.7 倍,Cerebras WSE 提供更多内核进行计算,更多内存靠近内核,因此内核可以高效运行。由于这些大量的内核和内存位于单个芯片上,因此所有通信都在芯片内进行,这意味着它的低延迟通信带宽是巨大的,因此内核组可以以最高效率进行协作。

 

Cerebras WSE 中的 46,225 平方毫米的硅包含 400,000 个 AI 优化,无缓存,无开销的计算内核和 18 千兆字节的本地、分布式、超高速 SRAM 内存,内存带宽为每秒 9 PB。这些内核通过细粒度、全硬件、片上网状连接通信网络连接在一起,可提供每秒 100 petabits 的总带宽。更多内核,更多本地内存和低延迟高带宽结构共同构成了加速 AI 工作的最佳架构。

 

 

更多核心
WSE 包含 400,000 个 AI 优化的计算核心。被称为稀疏线性代数核心的 SLAC,计算核心灵活、可编程,并针对支持所有神经网络计算的稀疏线性代数进行了优化。SLAC 的可编程性确保内核可以在不断变化的机器学习领域中运行所有神经网络算法。

 

由于稀疏线性代数核心针对神经网络计算基元进行了优化,因此它们可实现最佳利用率 - 通常是 GPU 的三倍或四倍。此外,WSE 核心包括 Cerebras 发明的稀疏性收集技术,以加速稀疏工作负载(包含零的工作负载)的计算性能,如深度学习。

 

零在深度学习计算中很普遍。通常,要相乘的向量和矩阵中的大多数元素都是零。然而,乘以零是浪费硅、功率和时间,因为没有新的信息。

 

因为 GPU 和张量处理单元是密集的执行引擎 - 设计为永不遇到零的引擎 - 它们即使在零时也会乘以每个元素。当 50%-98%的数据为零时,如深度学习中的情况一样,大多数乘法都被浪费了。由于 Cerebras 稀疏线性代数核不会乘以零,所有零数据都会被滤除,并且可以在硬件中跳过。

 

存储

内存是每个计算机体系结构的关键组件。更接近计算的内存转换为更快的计算,更低的延迟和更好的数据移动功效。高性能深度学习需要大量计算,并且频繁访问数据。这需要计算核心和存储器之间的紧密接近,这在 GPU 中并非如此,其中绝大多数存储器是很缓慢的,且在片外。

 

Cerebras Wafer Scale Engine 包含更多内核,具有比迄今为止任何芯片更多的本地内存,并且在一个时钟周期内可以通过其核心访问 18GB 的片上内存。WSE 上的核心本地内存集合可提供每秒 9PB 的内存带宽 - 比领先的图形处理单元多 3,000 倍的片上内存和 10,000 倍的内存带宽。

 

通信
Swarm 通信结构是 WSE 上使用的处理器间通信结构,它可以传统通信技术的功耗的一小部分实现突破性带宽和低延迟。Swarm 提供低延迟、高带宽的 2D 网格,可连接 WSE 上的所有 400,000 个核心,每秒带宽为 100 petabits。

 

路由方面,Swarm 为每个神经网络提供独特的优化通信路径。软件根据正在运行的特定用户定义的神经网络结构,配置通过 400,000 个核心的最佳通信路径以连接处理器。

 

Cerebras WSE 的总带宽为每秒 100 petabits。不需要诸如 TCP / IP 和 MPI 之类的通信协议支持,因此避免了它们的性能损失。该架构中的通信能量成本远低于每比特 1 焦耳,这比 GPU 低近两个数量级。通过结合大量带宽和极低的延迟,Swarm 通信结构使 Cerebras WSE 能够比任何当前可用的解决方案更快地学习。