• 正文
  • 相关推荐
申请入驻 产业图谱

Token工厂,非Token工厂

08/10 09:26
177
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

引言

随着Token的兴起,Token工厂越来越成为大家关注的热点。但不同团队对Token工厂的理解却不尽相同,甚至大相径庭。就以Token工厂的投入门槛来说,有的观点认为投入门槛是10亿,有的观点认为投入门槛是100万。哪个合理?哪个不合理?今天这篇文章,我们试图从多个角度进行分析、思考和论证Token工厂,也希望和更多的朋友一起深度讨论。

1 Token工厂做什么?

顾名思义,Token工厂,是生产Token的工厂。Token工厂,以模型为生产线,以算力为原材料,最终生产出来的产品是Token。

当然,仅生产Token的Token工厂是极简模式,我们还可以为Token工厂,增加上游和下游环节,使其更加的丰富完整:下游环节,Token聚合销售。

类似前店后厂模式,“前店”给客户提供各类模型Token服务,“后厂”可以自己生产部分或全部开源模型Token。上游环节,智算中心。智算中心,是在IDC机房机架基础上,增加了服务器设备和组网等能力,对外提供算力租赁。

2 高门槛重模式 vs 低门槛轻模式

如果涉及上游的Token原材料环节,也就是智算中心环节,那么就是高门槛且非常重资产投入的模式。而如果没有上游原材料环节,仅有Token生产环节,或者Token生产+Token销售环节,均为相对低门槛的轻资产模式。

因此,可以给出一个Token工厂低门槛启动并逐步演进发展的三个阶段:

    第一阶段,Token聚合平台(低门槛轻模式,投入10-20万)。给客户呈现的已经是完整的Token服务了。通过聚合外部Token资源,可以为客户提供非常全面丰富的Token资源。聚合平台主要是完成批发转零售,后台没有自己的算力和Token。
    第二阶段,Token聚合平台+Token工厂(Token生产平台,模型推理+性能调优)(低门槛轻模式,投入100万左右)。随着客户需求扩张,逐步的把一些开源的热点的模型自己生产。这一阶段,重心在于大量自己生产的Token的批发。
    第三阶段,Token聚合平台+Token工厂+自建算力(自建智算中心机房机柜,以及上架设备和组网等)(高门槛重模式,投入资金十亿级甚至以上)。这一阶段,涉及到重资产的投入,最好是在第二阶段发展已经非常成熟,营收规模已经非常巨大的情况下再实施第三阶段工作。

3 从供给到需求 vs 从需求到供给

站在上游算力基础设施的视角,从IDC机房机柜到智算中心算力(增加了设备和组网),再进一步到模型Token(增加了模型和调优),是自然而然的事情:不断的往下游拓展,不断的实现价值增值。

从供给到需求,Token工厂,是在算力集群的基础上,叠加了模型和调优的能力,对外提供Token产品。从供给到需求的Token工厂模式,聚焦价值增值。

站在下游需求和服务的视角,模型Token是AI价值的核心,所以需要构建Token服务,需要接入算力资源:首先有一个虚拟的“Token工厂”平台,源源不断的接入一个或多个智算中心集群算力,整合成统一对外的Token服务;Token工厂平台,具有资源统筹、调度和整合的能力。

从需求到供给的Token工厂模式,本质是云,聚焦为业务场景提供(云)Token产品和服务。

4 Token的三大特征

Token,即公有云化的、超大规模部署的、单位价格极度低廉的AI模型推理服务。Token,不仅仅是AI的计费单位,更是一种商业模式。Token的业务形态,使得AI可以像石油、矿产等资源一样,在全球范围内进行流转。站在使用者的角度:Token就是AI,AI就是Token。相对于智算,Token业务具有三大特征:

    Token极度简单标准。Token相关产品的开发工作量仅有智算云产品的5%左右。
    Token的规模占比极大。Token占智算云市场规模90%以上。Token的市场规模极大。随着AI的爆发,预计到2030年,Token国内数万亿、全球十多万亿。

5 智算中心到Token工厂 vs 智算云到Token工厂

从智算中心到Token工厂,是产业链从上游往下游的延伸,价值不断增值的过程。产业链的每个环节都有各自的门槛和能力要求,不是想往下游拓展,就可以往下游拓展的。Token是一个重要的机会。

Token业务的三大特征,使得上游的智算中心玩家有意愿投入,来构建一个Token工厂,并且可以相对轻松的驾驭。基于Token业务的拓展,这些上游玩家,可以逐渐的从一个基础设施资源提供商,转型成智算云Token服务提供商。

从智算云到Token工厂,也是很多AI-Infra或智算云玩家的机会。Token的三大特征,使得这些玩家业务更加聚焦,把Token相关的云产品服务从智算云MaaS服务中提取出来,并进一步扩充增强。在Token方面大量资源的投入,可以获得更强的产品和服务竞争力,进而获得更大的营收和利润。

6 Token工厂的核心竞争力:极致的成本优化

Token是标准品,并且上万亿的市场规模,整个市场必然会极卷。Token的成本优化,必然是精益求精,持续不断的全方位无死角的极致优化。

6.1 优化一,技术

技术侧的成本优化分为两个方面:(1)性能调优,降低单位Token成本;(2)通过各种模式创新和成本摊销手段,降低研发的营收占比。

6.1.1 性能优化

性能优化,通常分为三层:

    第一层,软件优化。在现有硬件基础上,优化计算、内存、传输等方面的效率。第二层,软件硬件协同优化。通过定制硬件,以及可能的硬件加速手段,进一步优化性能和效率。第三层,芯片架构和微架构优化。针对主流大模型的算法架构和特征,量身定做专用的加速芯片和相关系统,深度优化性能和效率。

6.1.2 研发成本优化

相比智算云,Token产品非常单一,仅有模型推理服务。但要进一步的优化Token的性能效率和单位成本,精益求精,则需要巨大的研发投入。如何优化研发在营收的占比,则成为一个很重要的问题,亟待解决。Token工厂面临两难选择:要么投入巨大,营收规模没有起来的情况下,研发投入比整个Token营收都高,严重亏损;要么投入较少,单位Token价格没有市场竞争力。既能够实现先进的技术,确保Token单位成本具有竞争力;又能够实现较低甚至极低的研发成本。如何确保既要又要?是全行业都在思考的重要问题。在性能优化同等水平情况下,研发投入的营收占比决定了Token工厂的成败:

    200-300%,研发成本极高,严重亏损;50-80%,研发成本较高,没有竞争力;20-30%,研发成本中等,主流行业水平;10-15%,研发成本较低,具有价格竞争力;5%及以内,研发成本极低,具有显著价格竞争力。

6.2 优化二,原材料

如何从上游获取有价格竞争力的算力资源?在起始阶段,不建议自建智算中心,而是灵活租赁市场上的算力,确保Token工厂的发展灵活性。在规模起来之后,逐步开始自建智算中心,才是合理的选择。因为Token的标准化和价格敏感,面向Token的智算中心,也需要极致的优化成本。将智算中心可靠性降低3%,可能单位算力成本可以降低30%。相当于智算云,Token业务对可靠性的要求较低,3%可靠性提升 or 30%成本降低,肯定选择后者。

6.3 优化三,规模

规模,是宏观的成本;成本,是微观的规模。对Token工厂来说,规模和成本,是永恒的话题。Token工厂,需要极度重视规模。尽快把规模做上去,才能摊销研发和运营成本,才能从上游拿到更好价格的算力,才能给下游提供更有价格竞争力的Token。

6.4 优化四,销售

关于Token销售,抛砖引玉,建议如下:

    积极对接各类销售渠道,保持长期稳定合作关系。这是营收的大头。有能力的话,可以构建专属的经销商网络。需要有零售平台。零售平台,不一定是销售的主力,但使得Token工厂能够触达客户的业务场景,保持对业务场景的理解和敏感度,从而有针对性的调整和优化Token的生产。积极对接智能体大厂,实现和智能体厂家的技术对接和业务合作,进一步增强业务和客户的粘性。

(正文完)

 

矩向科技,聚焦AI产业链技术服务,重点关注Token的生产和销售,在国内外有诸多合作的AI工厂和AI店铺项目落地。欢迎关注Token业务的朋友,交流讨论,共探商机。

相关推荐

登录即可解锁
  • 海量技术文章
  • 设计资源下载
  • 产业链客户资源
  • 写文章/发需求
立即登录

公众号:软硬件融合;CPU灵活性好但性能较差,ASIC性能极致但灵活性差,鱼和熊掌如何兼得,同时兼顾性能和灵活性,我给出的方案是“软硬件融合”。软硬件融合不是说要软硬件紧耦合,相反,是要权衡在不同层次和粒度解耦之后,再更加充分的协同。