加入星计划,您可以享受以下权益:

  • 创作内容快速变现
  • 行业影响力扩散
  • 作品版权保护
  • 300W+ 专业用户
  • 1.5W+ 优质创作者
  • 5000+ 长期合作伙伴
立即加入
  • 正文
    • GPU有多抢手?涨价50%,订单排到明年
    • 「算力租赁」需求兴起
    • 英伟达推出算力租赁服务
    • 有望成算力供给主流模式之一
  • 推荐器件
  • 相关推荐
  • 电子产业图谱
申请入驻 产业图谱

GPU缺货、涨价,却带火了「它」!

2023/06/27
4155
阅读需 7 分钟
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

随着球科技巨头陆续入局AI大模型算力需求(特别是大模型和行业应用等方面)迅速增长,GPU被全球哄抢,涨价、缺货不断。不过,也因此带火了英伟达在三月份提出的一项业务——算力租赁

GPU有多抢手?涨价50%,订单排到明年

据悉,GPU不像消费显卡,很多商家会有库存,本身存货就很少,整个供应链上的货不超过三四千片,ChatGPT热度起来以后,存货很快被互联网大厂锁定,今年3月后市场上基本没有存货。部分大厂直接从国外渠道找一些货回来,如今50%以上的订单基本都是互联网大厂的。

GPU的火爆不仅在现货市场,连订单都在抢着下。

上海六尺科技集团创始人张亚洲表示:“微软、英特尔等海外大厂一边自研、一边也在对外采购,前期订的一部分(GPU订单),可能用于大规模训练,但对于推理还是不够。如今基本上厂商低于一个亿的订单,也许渠道商都不愿搭理,发邮件都不回。”

价格方面,多款GPU价格从3、4月到至今涨幅接近50%。4月份订单还能排到10月份,如今已排到明年上半年。

价格暴涨,订单延后,那对于迫切需要GPU来训练模型的企业,是否还有其他选择?在这一背景下,也带火了更具性价比的模式——算力租赁

「算力租赁」需求兴起

算力租赁,顾名思义就是对算力进行出租,是一种通过云计算服务提供商租用计算资源的模式,适用于各种大规模计算需求的场景。企业用户可以根据自己的需求租赁服务器或虚拟机实现大规模的计算任务,而无需拥有自己的计算资源。

其优势包括:无需投入大量资金购买计算设备、高效稳定的计算服务、灵活的扩容或缩减,更好地满足用户的需求、非常灵活的计费方式,可以根据实际使用情况进行计费。

通过租赁计算资源,用户可以快速地启动项目,使用稳定高效的计算资源,大大缩短了研发周期和成本。

英伟达推出算力租赁服务

有数据显示,ChatGPT需要7-8个算力500P的数据中心才能支撑运行。对于微软、谷歌、百度这样的巨头而言,算力成本显然并不会成为障碍,但对于中小团队来说,如此巨大的成本几乎就是一座不可逾越的大山,并不是每一家企业都有能力建设属于自己的算力矩阵。

因此,英伟达就提出了算力租赁的模式。

今年3月,英伟达CEO宣布了DGX Cloud算力租赁服务计划,让企业用户不需购买昂贵的AI服务器,就能在云端上使用其提供的运算能力。企业用户可以使用DGX运算资源来进行生成式AI或应用开发。

据悉,DGX是英伟达推出的AI超级电脑运算系统,此次新推出的DGX Cloud算力租赁服务是英伟达与甲骨文等合作伙伴共同打造的。

至于DGX Cloud服务的订阅收费,未来将按照每个实例/每个执行个体来计算,每月收费36999美元起。每个实例包括8个NVIDIA H100或A100
Tensor核心GPU,每个GPU节点内存高达640GB,实现计算资源专用,不和云中另外的租户共享。

此外,DGX Cloud本身也支持英伟达自家的AI软件和开发工具,比如Nvidia AI Enterprise提供端到端的AI框架与预训练模型。

有望成算力供给主流模式之一

华福证券表示,国内具备研发及训练大模型实力的企业较少,随着行业的充分竞争,未来只会剩下1-2家大模型,采购服务器建设数据中心的重资产模式将产生大量的算力冗余,以公有云方式部署的算力租赁将是最优解。

从算力租赁厂商前期布局的成本来看,核心成本主要集中在服务器研发和采购、维护和升级等方面,可通过特定的技术和管理手段来控制,如通过智能化管理降低管理成本、与芯片厂商进行战略合作降低采购成本等。前期成本情况因公司规模不同而有所差异,大型厂商通常采用集中采购和规模效应来降低成本,而小型厂商则主要通过定制化方案来满足客户需求。

而站在用户角度,基于算力租赁,用户只要按需付费,不用承担硬件设备的采购、维护、升级等费用,也不用担心设备闲置或者过时造成浪费;用户可随时随地通过云端访问所需的算力资源,快速开始训练和应用;用户可根据需求选择不同算力平台和机型,也可以不受地域或者时间的限制模型、工具等资源,进行更多的尝试和探索。

随着大模型以及相关应用的发展,算力需求呈现爆发式增长。但除了大型互联网企业、AI龙头企业具有较多的GPU算力芯片储备外,中小企业在发展AI模型、应用过程中,算力租赁或能成为广大中小企业解决算力需求的选择之一。

注:部分信息参考科创板日报、财联社、第一财经等,图源网络,本号文章仅供学习和交流之用,不构成任何建议,不代表本号立场,如有任何问题,敬请联系我们,谢谢。

 

 

推荐器件

更多器件
器件型号 数量 器件厂商 器件描述 数据手册 ECAD模型 风险等级 参考价格 更多信息
STM32F030C8T6TR 1 STMicroelectronics Mainstream Arm Cortex-M0 Value line MCU with 64 Kbytes of Flash memory, 48 MHz CPU

ECAD模型

下载ECAD模型
$3.41 查看
TMS320F28377DPTPT 1 Texas Instruments C2000™ 32-bit MCU with 800 MIPS, 2xCPU, 2xCLA, FPU, TMU, 1024 KB flash, EMIF, 16b ADC 176-HLQFP -40 to 105

ECAD模型

下载ECAD模型
$25.67 查看
ATXMEGA128A3U-AUR 1 Microchip Technology Inc IC MCU 8BIT 128KB FLASH 64TQFP
$5.3 查看

相关推荐

电子产业图谱

猎芯网旗下新媒体公众号——芯三板,新三板,创业板,主板,海外板,越来越多的板爷!需要一个传话筒吧?需要来一点解密吧?需要来一点心跳吧?麻辣新鲜,陈年往事,说出来是故事,看透了就是人生!