Google DeepMind的两位工程师发布了一篇关于大模型推理硬件的论文,指出当前硬件架构不适合推理任务,尤其是在解码阶段。论文提出四种解决方案:高带宽闪存(HBF)、近存计算(PNM)、3D内存逻辑堆叠和低延迟互连。这些方案旨在解决内存带宽、容量和通信延迟等问题,而非单纯增加算力。研究者呼吁学术界和产业界合作,共同推动推理硬件的发展。
IEEE通信学会(ComSoc)发布的《电信领域大规模AI应用——创新、规模化落地与数字体验升级路线图》(LARGE-SCALE AI IN TELECOM——Charting the Roadmap for Innovation, Scalability, and Enhanced Digital Experiences)白皮书,为行业指明了一条融合生成式AI与电信大模型(LTMs)的革命性路径。