国产GPU云端实测看齐H200，端侧硬刚Thor T5000

随着大模型技术逐步由参数规模的比拼转入大规模商业化落地阶段，算力市场的考量标准正发生显著变化。一方面，日均Token调用量呈现爆发式增长，促使云端推理成本与算力经济效率成为核心指标；另一方面，基于毫秒级响应时延、数据隐私安全合规以及端侧小参数模型能力的快速提升，算力“下沉”至业务现场的算力分层趋势已成为行业共识。

在这种背景下，如何降低跨硬件平台的适配门槛、提升实际交付与部署效率，成为国产AI芯片迈向高价值应用的工程难题。

在近日举办的天数智芯2026媒体开放日上，该公司公开演示了天数智算软件栈的Agentic AI布局，以及“彤央TY1200”端侧算力终端的实机运行。从活动现场交流看到，国产通用GPU芯片与配套软件正逐步跨越基础功能测试，转向解决客户在云端与边端部署、适配和优化的实际工程落地问题。

图 | 天数智芯2026媒体开放日现场；来源：天数智芯

在云端算力层面，天数智芯展示了新一代通用GPU天垓300（具备144GB显存）的第三方实测数据。在典型PD（Prefill/Decode）分离部署下，天垓300折算单卡端到端吞吐量达到英伟达H200的1.05倍，在GLM-5.3模型的64K长上下文场景下，其MoE吞吐量达到H200的1.15倍。

然而，随着异构分工越发细致，软件栈需要承担的工程工作也成倍增加。为了降低客户的迁移与优化成本，天数智芯在其软件栈中引入了Agent与Skills（技能库），并深度接入FlyDSL，试图将原本依赖人工的优化工作转化为可复用的流程。

根据天数智芯发言人的介绍，在环境与服务部署上，该软件栈将安装与模型部署方法组织为智能体工具，使大模型PD分离场景下的环境准备与服务部署整体用时缩短至10-20分钟。在性能瓶颈分析方面，软件栈能协助AI依据真实运行数据定位计算、访存或调度瓶颈，使调优工作周期缩短至2小时内。此外，通过Agent与FlyDSL协同参与代码生成与测试，编译速度可提升90%以上，过去需要10人天完成的工作，现在1人在小时级内即可完成。

现场还展示了跨厂商的AFD（Attention-FFN 分离）异构分离方案。该方案由天垓300承载Prefill全流程计算及Decode中的Attention计算，合作厂商的XPU则承载FFN专家网络计算。两类芯片在统一调度下进行数据交换，实测成功将Decoding推理延迟降低了60%。

此外，基于算力贴着数据跑的“边端部署”趋势，天数智芯将云端积累的模型压缩、量化工具和软硬件协同能力下沉，推出了“彤央（TY）”端侧产品矩阵，包含算力模组与算力终端两种形态。

旗舰边端终端彤央TY1200提供300TOPS的INT8稠密算力，配备32GB系统内存与32GB HBM2e显存。在Qwen3.8-27B、Qwen3.6-35B-A3B等大语言模型实测中，TY1200的性能达到英伟达边端芯片Thor T5000的1.2倍；在英伟达开源的世界基础模型Cosmos-R2测试中，实测性能分别达到Thor T5000的1.58倍和1.80倍。同时，TY1200首次在国产端侧产品上实现了基于MuJoCo-Warp的边端GPU加速物理仿真，现场3D打印的双足机器鸭（MicroDuck）在不联网的本地终端上，离线完成了物理仿真、策略训练与动作验证。

目前，彤央系列已在多个行业现场进行了本地化落地应用。在文生视频场景，TY1200在本地平均6分钟即可生成一段1056×608分辨率、5秒时长的视频。法务合同审核、投资BP分析等安全敏感工作，可完全基于本地部署的大模型离线处理。在应急管理中，通过端侧CV与多模态大模型交叉验证，将传统方案70%的烟火识别准确率提升至95%以上。此外，该系列还应用在了面向储能电芯研究的垂直AI智能体报告生成，以及在上海市阳光康复中心上岗，为视障人士提供导诊与带路服务。

活动尾声，天数智芯预告了下一代端侧产品彤央TY2000，其标称稠密算力将达到600T，将进一步扩展端侧产品的离线部署、弹性扩容与多机互联性能空间。云端高效生产智能，端侧拓宽现实应用，软件加速迭代，三端协同正形成自主进化的算力布局，为 AI 在千行百业的规模化落地提供工程化技术支撑。