科研前线 | 异构计算困于内存？Gatech祭出3D异构+NeuroSim

目前内存与计算单元之间的通信瓶颈成为了包括机器学习在内的高性能异构计算领域所要面临的一大共性难题，针对这一行业痛点，佐治亚理工学院研究团队在自研NeuroSim框架基础进一步进行系统设计创新，相关成果发布于IEEE TED。

研究背景

如今最先进的机器学习模型发展到巨大的运算规模，存内计算技术（compute-in-memory，简称为CIM）因其大幅减少数据转移的频次、提升DNN（Deep Neural Networks）深度神经网络并行计算效率两大优势，被认为在机器学习领域前途无量。

作为该技术候选eNVM家族的一员，RRAM*(resistive random access memory，阻变存储器）技术具有以下优点：在断电时能够保持数据状态；在长期待机或冷存储状态下不会出现数据丢失。然而，在今天的CIM设计、尤其是使用RRAM的技术方案中，仍存在几个挑战：1）“模拟”计算需要大量诸如高精度ADC模数转换器的外围设备，这导致不得不降低吞吐量以平衡数据区域开销（overhead）；2）作为“模拟”突触器件的eNVM需要高写入电压，因此基于eNVM的“1TIR”——即1晶体管+1电阻结构的CIM设计落后于前沿节点的SRAM缓存，并且需要额外的外围设备提供高的写入电压；3）今天大多数可用的嵌入式存储器只有10MB级别的片上容量，这不足以支持DNN网络，这使得处理单元与存储器之间的信息交换效率是计算系统性能的瓶颈。

*RRAM，一种新型存储器，基于新的半导体材料、依赖于温度和电压来存储数据，RRAM及其制造的半导体允许芯片堆叠在彼此之上，使得存储器和逻辑组件以不能复制的方式靠近在一起。

在这种情况下，3D叠加的逻辑单元嵌入式内存成为了一种必然选择。随着HBM在应用上的成功，异构三维集成被认为是建立多层CIM的一大技术路径，因此，有必要进行早期的设计空间探索，以对这种多层CIM体系的技术需求进行测试。

佐治亚理工学院研究团队采用基于TSV硅通孔技术的多层CIM深度学习加速器设计，并以“Heterogeneous 3-D Integration of Multitier Compute-in-Memory Accelerators: An Electrical-Thermal Co-Design”为题发表于IEEE Transactions on Electron Devices十一月刊，第一作者及通讯作者为Xiaochen Peng。

研究内容

本文的主要贡献是:

在这项工作中，Gatech团队提出了一种多层集成CIM加速器与TSV的设计结构探索，并扩展了3D+NeuroSim框架（该团队自研benchmark框架）来运行电-热联合模拟。通过对TSV直径和寄生系数的分析，我们分析了TSV尺度对系统性能的影响。概括来说，本文所做的工作包括：

1)提出并测试了四个五层CIM加速器设计：逻辑层采用7nm工艺；而存储层采用7 nm工艺 SRAM-CIM或22nm工艺的RRAM-CIM ，每个SRAM或RRAM分别具有层接层结构和pipelined结构；

2）为了研究TSV孔间距对系统性能的影响，测试了从30μm到100nm的孔径，并在TSV寄生的影响下运行电-热耦合模拟。

结果表明，多层异构集成结构的设计而言，1-3μm的TSV直径是平衡区域开销、性能和IR 压降的设计最优解；扩展benchmark框架已在GitHub上开源发布，网址为https://github.com/neurosim。

互连寄生参数与TSV直径关系曲线

3D异构集成CIM加速器结构模型

层间结构与pipeline结构示意图

基于SRAM和RRAM的五层异构CIM加速器

其的芯片面积与TSV直径关系曲线如图

2D CIM与3D CIM比较

RRAM CIM性能和工作温度与TSV直径的关系曲线

两种五层CIM加速器中，IR压降与与TSV直径变化曲线

前景展望

严格来说，本研究内容相比存内计算更偏向于compute-near-memry，在异构计算结构设计上进行创新，探索了3D异构集成与自研NeuroSim框架的结合，分析了TSV孔径对系统性能的影响，对于DNN深度神经网络技术的系统结构设计进行了前瞻性研究，有利于推动异构计算技术的进一步拓展。

团队介绍

Xiaochen Peng，原佐治亚理工学院博士、助理研究员，2021年毕业后加入圣何塞市台积电担任主任工程师，主攻AI硬件与3DIC研发。

Shimeng Yu，乔治亚理工学院副教授，于2009年毕业于北京大学微电子学专业，并于2011年和2013年分别获得斯坦福大学电子工程硕士和博士学位。2013-2018年担任亚利桑那州立大学助理教授。目前研究方向是纳米电子器件和高性能HPC芯片、机器学习、深度学习加速器、神经形态计算、单片3D集成和硬件安全等。

论文原文链接：https://ieeexplore.ieee.org/document/9546984/