芯耀
2248
AI大模型Token服务，也被形象的称为AI工厂，从去年开始兴起，今年下半年逐渐爆发。最近非常多的朋友询问AI Token相关的技术和业务的情况，希望能开展Token相关的业务。通过这篇文章，简单跟大家介绍一下“AI工厂”的业务模式。
一家之言，抛砖引玉，仅供参考。如有纰漏，或深入探讨，请加编者微信私聊。
1. 什么是Token？什么是AI工厂？
Token，在不同的领域有不同的含义。这里我们说的是AI大模型的Token。
在AI领域，Token是AI模型处理和生成文本时的最小单元，可以将文本分解成Token来处理。Token可以是一个单词、一个子词、一个标点符号或一个字符。Token是模型计量计费的基本单位，1个中文字符约等于0.6个Token，而1个英文字符约等于0.3个Token。
AI工厂是什么？NVIDIA给出的定义：
AI 工厂是一种专业计算基础设施，通过管理整个 AI 生命周期 (从数据采集到训练、微调和大量 AI 推理），从数据中创造价值。其主要产品是智能，通常以 Token 吞吐量来衡量，用于推动决策制定、自动化流程以及新的 AI 解决方案。
我们简单一点：AI工厂也是工厂，其输入的原材料为算力，其输出的产品为模型Token，其生产线为各种各样的模型。当然，模型需要不断优化，就需要有数据的采集、模型的训练和微调等。但这些工作都可以由外部技术支撑，AI工厂的本质不变：来料加工（算力）+产品销售（Token）。
2. Token服务及其特征
Token服务，本质是面向应用场景的模型推理服务的规模化部署。Token服务的特征主要有：
市场规模庞大。从宏观规模的视角，Token服务可以基本等同于AI推理。随着模型相关技术和业务的成熟以及广泛使用，Token服务预计会占到整个智算云业务的80%以上，仅国内市场，Token服务将很快达到万亿级甚至数万亿级市场规模。
标准化。Token是标准的计费单位，差异性来源主要来自于模型本身。同一个开源模型，不同厂家的服务，很难有差异化；随着发展，同一类模型，不同闭源模型的能力差异也会越来越小；同样的，同一类模型，开源模型的能力也越来越接近闭源模型的能力。
竞争激烈。Token服务规模巨大兵家必争，且足够标准服务门槛低，迁移成本低，客户粘性不高。因此整个市场会非常卷，最终会平衡在一个相对低毛利的水平上。
3. Token业务和CDN业务的异同点
很多朋友，把Token业务比做新时代的CDN，这个思路大部分是对的。我对外交流，为了简单起见，也是这个说法。
但细致拆解，Token服务和CDN业务的特性方面还是有不少的差别的。这里我们简单讨论一下两者的相同和不同。
相同点主要在于两者都足够标准化并且竞争激烈，客户粘性不高。拼到最后，基本都是在拼资源和拼谁豁得出去冒风险上规模。并且最终整体的毛利率不会太高。
在营收占比方面。相比传统的通算云，CDN业务占比是比较大的，例如一些重点发展CDN的公有云厂家，其CDN业务营收占比超过50%，其他公有云厂家，CDN业务也会是一个主要的产品类别。而Token业务营收占比更大。智算主要就训练和推理，长期来看，推理会占到80-90%，而Token就是推理的规模化部署和使用，所以预估Token服务在智算云中的占比将达到80%左右。
在市场规模方面。智算相比通算都要更上一个数量级，而CDN只是通算的一个业务版块。也因此，Token业务市场规模将是CDN业务市场规模的一到两个数量级。
此外，业务地理分布方面。CDN业务对电力的消耗较少，基本不受能源电力资源分布的影响。因此，CDN业务基本是随着业务热点，就近部署，大部分是分布在东部各个发达地区。而Token业务，一方面单个设备能源消耗巨大（单服务器能耗几乎x10），另一方面，数量级增长的规模（千卡万卡到十万卡白万卡），都使得其整体的能源消耗已经触达到了能源和电力供给的天花板。也因此，国家前瞻性的提出了“东数西算”的大战略，引导东部数据和业务在西部计算和处理。未来，我们预计，Token业务会逐渐形成四级算力供应：终端本地算力、城市边缘算力、区域近云算力，以及西部远云算力。
4. Token服务分类
Token服务主要有两类：
模型Token聚合平台，Token Router。类似API Gateway一样，通常仅有一个，把所有的模型访问聚合到一起，供用户调用。
模型Token服务，Token Serverless Services。模型服务的本地规模化部署，并以Serverless的方式对外提供服务。不同的模型，需要部署不同的Token服务；单个模型，通常只有一个Token服务。但也有例外，例如基于NVIDIA设备和国产设备分别部署的Deepseek开源模型Token服务。
两类服务相互促进：
Token Router，既可以接外部Token服务进行转售，也可以接内部Token服务赚取更多营收和毛利。
本地的Token服务，既可以接入自己的Token Router自己销售，也可以批发给别人，接入别人的Token Router，让别人销售。
只部署Token Router的服务商，仅仅是转售，本质是渠道商。而部署了本地Token服务的服务商本质是云平台，消耗自己的算力，有Token服务增值。
5. Token服务的起步门槛
Token服务的起步门槛较低。
如果要开始Token相关创业，建议先从Token Router开始，一台性能强点的CPU云主机，即可起步。批发转零售，所有模型均是转售模型原厂或其他外部Token服务。
在此基础上，Token Router逐步接入本地部署的Token服务。自己的Token服务，消纳自己的算力，既赚算力钱，又赚Token增值的钱，还赚转售的钱。
如果仅开展Token Router服务，预计起步投入20-30万即可；如果要同步开展本地模型Token服务，包含后台算力接入，预计投入100万左右。
6. Token服务的软件系统
“模算云”是完整的智算公有云技术和运营整体解决方案，“模算云AI Factory”是从模算云拆分出来的面向Token业务的专用版本。
模算云AI Factory系统，仅包含核心的两类产品：包含所有主流模型的Token Router，以及主流开源模型的Token服务快速部署；其他还有账号、计费、订单、监控等后台系统，以及相关的前台和控制台系统。
如对模算云AI Factory系统感兴趣，请加编者微信私聊。
7. Token服务对国产芯片的影响
有朋友问到：AI Token的爆发对国产芯片是利好还是利空？我们的答案是：整体利好，局部利空。主要是因为：
1.Token是推理，对Scale up的能力要求相对不高，利好国产芯片。
2.Token服务是一种Serverless型服务，国产芯片劣势的架构和生态问题由平台侧搞定，最终的消费者（开发者）不用费心生态细节，利好国产芯片。
3.Token模式，竞争更残酷。传统不同芯片厂家在不同行业、不同场景各自努力，竞争相对较少。而Token模式把大家拉到了同一个赛场，是骡子是马拉出来遛遛，最终结果肯定是几家欢喜几家愁。
4.Token服务的核心竞争力是价格。竞争压力会更大，但暂时不用去对标NVIDIA平台，只需要跟其他国产芯片平台相比，Token的低价竞争力更强即可。
5.Token服务市场会数量级大爆发。整体上，国产芯片会迎来一个不少于3年的爆发式增长时期。
8. Token服务模式的未来演进
Token服务的起步门槛虽然较低，但要想做好，门槛依然很高。
目前情况下，all in Token是正确的；但3-5年后，Token相关业务模式成熟，行业极度内卷的情况下，还all in Token，则风险非常高。因此，大家也很关注Token服务模式开展起来之后的转型问题。
这里抛砖引玉，给出我们的一些看法。当Token业务规模达到一定程度（本地Token，不含转售）后，逐渐开始演进。主要有两个方向：
方向一，卷规模和成本。核心是成本，规模化也是为了摊薄成本。在规模起来之后，就可以通过自建智算中心、定制Token专用服务器、软硬件协同优化甚至定制专用芯片等方式，进一步优化成本。更深层次的，计算架构从目前主流的异构计算演进到多异构计算，并进一步演进到异构融合计算，数量级的降低单位能耗和成本。
方向二，卷产品和服务。Token服务的规模虽然巨大，但也仅仅是一款产品和服务。要想服务好客户，还要提供很多其他的产品和服务，比如扩展其他AI-MaaS类服务，如模型微调、垂类模型、预训练、AI应用开发、AI原生应用部署等，再比如往上层扩展Agent、具身智能等业务场景赋能，以及往下层扩展虚机、容器、网络、存储等资源服务，以及水平扩展其他的平台层服务，最终“变身”为一个完善的综合性的公有智算云。
欢迎加作者微信私聊：chaobowx
