• 正文
  • 相关推荐
申请入驻 产业图谱

计算新时代:从智能计算到Token计算

7小时前
188
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

1 综述

Token,是AI推理的计费单位。所以,Token计算属于智能计算。

计算的形态,从“云计算->智能计算->Token计算”。

虽然智能计算是云计算的子集,但当智能计算发展起来,其市场规模是云计算原有市场规模的数十倍。所以,我们说,计算从云计算走向了智能计算。

同样的,Token计算虽脱胎于智能计算,但随着Token模式得到全行业甚至跨行业的认同,Token的市场规模以每年十倍的速度在疯狂增长。

我们即将从智能计算时代,走向Token计算时代。

(这里讲的智能计算,主要指的是AI-Infra以及MaaS相关产品服务。而Token计算是智能计算的子集,仅仅是MaaS产品体系中的一个产品:AI推理服务。Token计算,即超大规模部署的、公有云化的、单位价格极度低廉的、可在全球范围流转的AI推理服务。)

2 云计算的三个时代

2.1 第一代,云计算

云计算已经发展了20年,相对于智能计算,原有的云计算通常称为(基于CPU的)通用计算。云计算时代,大家关注的是IaaS层的计算、网络、存储,以及PaaS和SaaS。

2.2 第二代,智能计算

智能计算时代,兴起了AI-Infra、GPU云等新的平台模式。虽然是聚焦智能计算,但仍然关注计算的方方面面:IaaS层的GPU卡时,MaaS层的从训练、推理到产品开发等的完整的产品服务体系,甚至包括面向智能体、具身智能,以及其他领域的AI解决方案。

2.3 第三代,Token计算

这里抛砖引玉,我们认为,Token计算具有如下一些特征:

AI推理服务,是核心产品,但不应是唯一产品。也因此,我们把Token计算的核心载体称为“AI工厂”,而不是“Token工厂”。

一切皆Token。Token是一种商业模式,让产品的交换变得更简单高效。虚拟币可以Token化,AI(推理)可以Token化,其实很多的相关联的高价值产品,例如智能体,均有可能token化。

极致的性能和成本优化。Token是相对标准化的产品,而且市场规模很大。也因此,市场竞争非常激烈。站在技术的角度,需要针对性地做极致的性能和成本优化。

规模优先。性能和成本优化是微观的优化。但如果没有宏观上非常大的规模,会面临很多挑战:如研发投入无法摊销,算力利用率大幅度波动导致成本偏高,规模小导致设备和机柜等基础设施和运营成本高等等。

3 Token计算和智能计算的异同点

智能计算更注重性能,Token计算更注重成本。

智能计算,重心在AI训练,更注重大集群的性能和效率,从千卡万卡,未来可能进一步优化到十万卡白万卡。并且,从微观的单服务器视角,为了进一步提升卡间效率,从传统服务器的一机八卡,进一步升级到了超级服务器的数十、数百卡甚至上千卡。

Token计算,更聚焦单位Token的低成本。因此,希望把单个模型部署优化到尽可能小的计算集群,甚至单服务器。从而进一步降低单位成本。未来,会出现大量针对热门模型量身打造的Token专用计算设备,从而进一步压缩Token服务器的硬件成本以及Token的成本。

4 Token计算的“二八定律”

4.1 产品占比:5-10%

智能计算,考虑的问题(相对)更全面。智能计算通常包括:

IaaS层的虚机/容器的卡时、高性能存储;MaaS层的预训练、微调、评估,还有AI推理服务(Token),开发工具、知识库、AI原生沙箱等,以及各种原生应用;甚至还包括相关的一些场景的智能体和解决方案。

而Token计算,考虑的问题更聚焦。Token计算考虑的产品只有一个,即AI推理服务,在整个智算产品服务力占比,约为5-10%。但这并不意味着Token计算比智能计算简单。Token计算的难点在于,微观上持续的软硬件堆栈的全栈综合优化,以及宏观上Token和算力资源的调度优化。

4.2 规模占比:80-90%

AI以Token为单位计费,已经成为全社会的共识。Token成为一种,类似电力、矿产、石油等的,宝贵的资源,具有了一定的金融的属性,可以在全球范围内进行流转。

AI已经席卷全球,未来,人类将进入AGI时代。站在使用者角度,AI即是Token,Token即是AI。这意味着,随着AI的广泛业务落地,Token的市场规模将以每年10倍以上的速度迅猛增长。

Token的增长,并不是说其他智算产品规模的萎缩。,智能计算其他的产品增长相对缓慢,而Token计算的数量级急速增长,将带领着智能计算,迈向数万亿美金规模的新产业高度。未来3-5年,在超级大规模的基础上,Token计算,(在智算中的)占比将超过80-90%(未来有可能更高)。

(正文完)

 

矩向是一家AI产业链技术服务企业,重点关注Token的生产和销售。在国内外有诸多伙伴的AI工厂和AI店铺落地。欢迎关注Token业务的朋友,交流讨论,共探商机。

相关推荐

登录即可解锁
  • 海量技术文章
  • 设计资源下载
  • 产业链客户资源
  • 写文章/发需求
立即登录

公众号:软硬件融合;CPU灵活性好但性能较差,ASIC性能极致但灵活性差,鱼和熊掌如何兼得,同时兼顾性能和灵活性,我给出的方案是“软硬件融合”。软硬件融合不是说要软硬件紧耦合,相反,是要权衡在不同层次和粒度解耦之后,再更加充分的协同。