加入星计划,您可以享受以下权益:

  • 创作内容快速变现
  • 行业影响力扩散
  • 作品版权保护
  • 300W+ 专业用户
  • 1.5W+ 优质创作者
  • 5000+ 长期合作伙伴
立即加入
  • 正文
    • 什么是服务器?如何分辨AI服务器?
    • 一台AI服务器涨价近20倍,凭啥?
    • AI服务器还带动了哪些芯片需求?
  • 推荐器件
  • 相关推荐
  • 电子产业图谱
申请入驻 产业图谱

AI服务器价格涨近20倍!带火哪些芯片?

2023/05/27
4774
阅读需 18 分钟
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

“所有与英伟达相关的AI服务器都在涨价。”有企业最近向媒体透露,“去年8万元一台的AI服务器,今年已经涨到160万元,涨了近20倍。”

ChatGPT大火后,各大科技企业纷纷发力AI大模型,作为通用的算力芯片,英伟达的高端GPU开始供不应求。A100价格从去年年底开始暴涨,至今涨幅接近40%,连上一代V100的价格也被炒到近10万元,中国特供版A800更是相当紧缺。

AI服务器的涨价很大程度上与这波行情有关,作为算力的基础设施,无论是训练,还是模型推理,AI服务器都是必需品,且往往需要的不止是一台两台。那么AI服务器是什么?跟一般服务器有什么区别?英伟达的GPU,为何让AI服务器大涨特涨?除了GPU,AI服务器里还用到哪些芯片?哪些芯片能够跟着受益?

什么是服务器?如何分辨AI服务器?

AI服务器由传统服务器演变而来。服务器,几乎是办公室打工人手里电脑的翻版,它属于高性能计算机,存储、处理着网络上80%的数据、信息,被称为网络的灵魂。

如果微机、笔记本、手机等网络终端是分布在家庭、办公场所 、公共场所的电话机,那么服务器就是邮局的交换机,把网友们共享的网络游戏、网站,企业的数据等存放其中,又可分为文件服务器、云计算服务器、数据库服务器等。

相比电脑,服务器在稳定性、安全性、性能等方面都要求更高,毫不夸张地说,每年双十一若不是有足够牛X的服务器,购物狂欢节会变成“网络错误”或“请稍后再试”的刷屏节。

毕竟短短一两分钟内,就要处理剁手党们发送给电商服务器的上千亿交易订单,再发送给用户进行响应,数据流量到达巅峰(2018年,天猫双11支付峰值为25.6万笔/秒,数据库处理峰值为4200万次/秒),每年对服务器的性能都是一次大考。

这操作放在1964年诞生的第一代服务器System/360身上大概是无法想象的,那时无论网络还是分布式计算都没诞生,当年IBM推出它的时候,还是在协助美国太空总署建立阿波罗11号的数据库,助力人类登月。它每秒可计算100万次,价格高达200-300万美元一台,体积庞大,很多银行采购这样的IBM大型机开展业务。

很快在1965年,服务器的价格被打了下来,这年DEC公司开发了PDP-8小型机,掀起了小型机革命。90年代初,互联网兴起,RISC架构的服务器如日中天,英特尔x86架构的服务器让很多小企业甚至是个人用户都能买得起,不到20年的时间,英特尔迅速统治了各类计算机市场。

在AI服务器之前,服务器大致经历了Wintel时代、云计算时代两个时代的演变,随着新一代人工智能技术的到来,摩尔定律的“到头”,CPU的物理工艺和核心数接近极限,单靠CPU提供算力的传统服务器,很难满足AI对密集型计算的需求。

机器学习和人工智能代表了一个基本的新架构,人工智能需要专属的基础结构进行承载和支撑,AI服务器从此应运而生。

谷歌、BAT等企业面对海量的数据,打造一座数据中心时,通常都要配备成千上万台服务器。以用到A100的ChatGPT为例,其部署的大算力计算,每个GPU或大算力AI芯片的算力大于100TFLOPS。这时就要给服务器们上更高的配置,强强联手,搭载GPU或者其他类型的AI芯片,比如GPU就非常擅长做一些CPU做不了的密集型数据运算。

AI服务器和普通服务器最大的区别,就是AI服务器通常打组合拳,比如CPU+GPU、CPU+TPU、CPU+其他的加速卡等,CPU在AI服务器中,彻底卸下了算力的包袱,当当领导指挥下就行。

一台AI服务器涨价近20倍,凭啥?

一台AI服务器的价格,从去年到现在涨了近20倍。而一台普通服务器,都换不到AI服务器里的8个GPU,价格上相形见绌。大家都在数据中心里躺着,凭什么AI服务器这么金贵,价格疯涨?

在AI服务器中,CPU退居幕后,GPU等AI芯片在其中充当主角做大量运算,算力无止境,事实上,AI服务器通常有且不仅只有一块GPU。

虽然FPGA、各类ASIC芯片也可以做大量运算,但GPU强大的通用性使得它更吃香。IDC数据显示,2021年上半年中国人工智能芯片行业中,GPU显著成为实现数据中心加速的首选,占有90%以上的市场份额。

CPU方面,AI服务器一般仅搭载1-2块CPU,GPU的数量就占上风了,根据GPU数量的不同,AI服务器进一步分为四路、八路和十六路服务器,搭载8块GPU的八路AI服务器最常见。

AI大模型分为训练和推理两种,训练模型要求的算力很高,推理相对要求低一点,但大模型总有一天会训练出来,推理却永无止境,比如ChatGPT与我们对话就是推理的过程,从算力总需求上来看,推理可能甚至要高过训练。

算力的高低最直观的影响就是速度,谁也不想训练一个模型要耗上个把年,等AI回答个问题,等到人老珠黄。在这个内卷的时代,谁快,谁就有饭吃。

有研究机构测算,以GPT-4为例,为满足最高 75352 PFlop/s-day的算力,在5 PFlop/s-day的计算速度下,20天完成,需要采购754台浪潮NF5688M6服务器(2 CPU + 8 GPU),缩短至15天,就要1005台,缩短至5天完成,就要多达3015台!

浪潮NF5688M6搭载了两颗intel ice lake处理器,8颗英伟达A800GPU,京东售价约105万,按照CPU约5.3万/颗,GPU约10.4万元/颗计算,CPU和GPU的价值量占比为10.10%和79.24%。

说白了,玩家为了大模型的运算效率,得加钱,氪金充值。

放在整机上,GPU的成本还是遥遥领先,无人能敌。普通服务器和AI服务器的BOM表显示,AI服务器单机平均售价(ASP)比普通服务器要高出5倍,AI服务器对AI芯片如英伟达的A100需求大,而普通服务器甚至都不需要用到专业的AI芯片。

普通服务器最贵的CPU,单机ASP 14400美元,不到AI服务器中GPU 96000美元的四分之一,而普通服务器40000美元的单机总成本ASP,也不及AI服务器GPU这一项成本的一半。讲个笑话,一台普通服务器,都换不到八路AI服务器里的8个英伟达A100。

这就是AI服务器容易价格疯涨的原因,背后成本占比高,单价昂贵的英伟达A100等GPU几乎成了决定性因素。


来源:中金点睛

挖矿潮过去后,英伟达显然嗅到了生成式AI热潮的铜臭味。有业内人士表态,早在去年6月开始,英伟达就已经宣布上调A100价格,涨幅在20%左右,由于美国禁令,英伟达特供中国的A800版本在ChatGPT爆火之前已经出现了涨价,导致市场上出现了众多炒货行为。

虽然国内有华为、百度、阿里等自研的AI芯片,也有部分服务器厂商使用这些芯片,但整个AI服务器市场,英伟达还是独占鳌头的那个,所以英伟达就成了AI服务器这条涨价线的源头。

ChatGPT的大火,导致英伟达高端GPU价格一路上涨。有代理商透露,英伟达A100价格从去年12月开始上涨,截至今年4月上半月,5个月价格累计涨幅达到37.5%;同期A800价格累计涨幅达20.0%。

GPU的持续缺货,进一步影响AI服务器厂商的出货,连带着下游云服务厂商,AI企业都要受到影响。今年以来,AI服务器价格大涨的消息不绝于耳。

英伟达也向台积电追加订单,但GPU需要的先进制程产能毕竟有限,因此交货周期还是没有幸免拉长,之前拿货周期大约为一个月,现在基本都需要三个月或更长。甚至,部分新订单“可能要到12月才能交付”。

一些云服务厂商开始缩衣减食,严格限制内部对GPU的使用量。有厂商表示,“后悔买少了。”颇有种汽车缺芯时那种差之一“芯”,失之万台的感觉。

AI服务器还带动了哪些芯片需求?

无论GPU如何带动AI服务器涨价,本质上是AI市场需求的体现,就像前两年汽车缺芯一样。这种需求的出现往往伴随的不只是一种芯片的激增。

中金测算,AI服务器核心组件按价值量由高到低依次为GPU、DRAM、SSD、CPU、网卡PCB、高速互联芯片和散热模组等,按7.5万台训练型和17.5万台推理型服务器测算,对应市场规模分别为240亿美元、88亿美元、48亿美元、34亿美元、5亿美元、3亿美元、2.5亿美元和1.5亿美元。

图来源:中金点睛

而除了GPU、存储这两个价值量提升比较大的芯片外,接口、网卡、散热、PCB等的价值量都有提升。相较普通双路服务器,AI服务器核心器件单机价值量提升倍数由高到低依次为GPU(24x)、DRAM(5.3x)、板内互联接口芯片(3.3x)、电源管理(3x)、散热(3x)、PCB(2.4x)、网卡(2.2x)和SSD(2x)。

排在GPU之后,存储芯片,貌似第一个活过来了。

存储芯片(成本占比近30%)

据Open AI测算,2012年以来全球头部AI模型训练算力需求3-4个月翻一番,每年头部训练模型所需算力增长幅度高达10倍,远超摩尔定律的增长速度,GPT-3相较GPT-2在数据存储端从百G提升至40T,在存储量上有约100倍的提升。

数据中心成为存储增长的重要引擎。TrendForce 最近将32GB DDR5 DRAM的Q2平均固定交易价格预估值从75美元调升至80-90美元。分析师指出,应用于AI服务器的128GB DDR5比64GB DDR4贵上10倍,订单仍持续涌进。

美光的数据显示,一台AI服务器DRAM使用量是普通服务器的8倍,NAND是普通服务器的3倍。此外,HBM(高带宽内存)也逐步提高在中高端GPU中的渗透率,自2021年以来在数据中心应用中快速增长,2023年2月以来,HBM3规格DRAM价格上涨。TrendForce预测,2023-2025年HBM市场CAGR有望成长至40%-46%以上。

根据美光测算,数据中心整体存储需求约占存储总市场的31%,2021年数据中心DRAM和NAND分别约300亿美元和200亿美元,预计到2025年分别增长至500亿美元和300亿美元,预计到2030年分别增长至1000亿美元和700亿美元,2021年~2025年合计CAGR为14%。随着数据量的大规模增长,存储设备在数据中心采购的BOM中占比进一步提升,美光曾提及,目前存储芯片在数据中心采购中比例约为40%,未来预计将提升至50%。

CPU(成本占比7%)

x86、ARM、RISC-V是CPU的三大技术架构,在服务器市场,x86处理器市占率超90%处于主导地位,而英特尔是CPU市场,特别是服务器领域是绝对的领导者。

Mercury Research最新公布的统计数据显示,2023年第一季度,英特尔继续在台式 PC、移动和数据中心CPU市场占据主导地位,在整个X86数据中心市场,英特尔市场份额为74.2%,AMD市场份额为25.8%。

服务器用的CPU从制程工艺上而言可能都落后于个人电脑用的一代,但售价往往是其10倍以上。但两者逻辑不同,服务器讲究后台运算,它看重功耗和稳定性,以此通过更多的核心数,更大的缓存来提高算力,而个人电脑强调影音娱乐体验,频率要求高。

接口芯片(3.3倍的价值量提升)

PCIe 开关或 PCIe 交换机,主要作用是实现 PCIe 设备互联,PCIe Switch 芯片与其设备的通信协议都是 PCIe。根据 QYResearch(恒州博智)的统计及预测,2021 年全球 PCIe 芯片市场销售额达到了 7.9 亿美元,预计 2028 年将达到 18 亿美元,年复合增长率(CAGR)为 11.9%。博通、微芯科技和祥硕科技为领域龙头。目前全球仅少数几家公司具备 PCIe Switch 芯片技术,核心厂商主要包括博通、微芯科技和祥硕科技三家,共占有全球约 58%的份额。

数模信号混合芯片,Retimer,功能主要为重新生成信号。在 AI 服务器中,GPU 与 CPU 连接时至少需要一颗 Retimer 芯片来保证信号质量。很多 AI 服务器都会配置多颗 Retimer 芯片,例如 Astera Labs在 AI 加速器中配置了 4 颗 Retimer 芯片。目前谱瑞、Astera labs、澜起科技是 PCIe Retimer 蓝海市场中的三家主要厂商,占据领先地位。

高速串行接口芯片,针对 AI 服务器中 PCIe 带宽限制对于 GPU 间通信带来的阻碍,以 NVIDIA NVLink 为代表的高速接口芯片应运而生。全球各大芯片厂商均在关注高速接口的相关技术,除了NVIDIA的 NVLink 之外,AMD 的 Infinity Fabric 和 Intel 的 CXL(Compute Express Link)等也为服务器内部的高速串联提供了解决方案。


来源:方正证券

内存接口芯片,按功能分为两类,分别是寄存缓冲器(RCD)以及数据缓冲器(DB)。内存接口芯片是技术密集型行业,需要通过 CPU、内存和 OEM 厂商的全方位严格验证后,方可进行大规模使用,新的玩家很难介入。在 DDR5 世代,全球只有三家供应商可提供 DDR5 第一子代的量产产品,分别是澜起科技、瑞萨电子(IDT)和 Rambus。

电源模块相关芯片(PMIC芯片,3倍的价值量提升)

服务器内部主要使用模块化的开关电源,具有体积小、功率密度高、转换效率高和噪声低等优势。中金预计全球服务器电源模块的市场规模约150亿元。全球主流电源厂商包括台达电子、艾默生和光宝科技等,国内中国长城规模领先。截至目前,我国模块电源商有上百家,格局分散,CR10小于60%。

 

推荐器件

更多器件
器件型号 数量 器件厂商 器件描述 数据手册 ECAD模型 风险等级 参考价格 更多信息
MK60DN512VMC10 1 Freescale Semiconductor Kinetis K 32-bit MCU, ARM Cortex-M4 core, 512KB Flash, 100MHz, Ethernet, MAPBGA 121
$10.69 查看
ATSAMD51P20A-AU 1 Microchip Technology Inc RISC Microcontroller, 32-Bit, FLASH, 120MHz, CMOS, PQFP128

ECAD模型

下载ECAD模型
$8.28 查看
AT91SAM7X512B-AU 1 Microchip Technology Inc IC MCU 32BIT 512KB FLASH 100LQFP

ECAD模型

下载ECAD模型
$13.29 查看
英伟达

英伟达

为这个时代的达芬奇和爱因斯坦们提供超强计算性能。我们开创性地开发出一种超强计算形式,深受全世界对计算机有超高要求的用户的青睐,包括科学家、设计师、艺术家和游戏玩家。对于他们而言,我们的创造几乎可媲美时间机器。基于对更优质 3D 图形永无止境的需求以及当下庞大的游戏市场,NVIDIA 已在这个虚拟现实、高性能计算和人工智能的交叉口,将 GPU 发展为计算机大脑。

为这个时代的达芬奇和爱因斯坦们提供超强计算性能。我们开创性地开发出一种超强计算形式,深受全世界对计算机有超高要求的用户的青睐,包括科学家、设计师、艺术家和游戏玩家。对于他们而言,我们的创造几乎可媲美时间机器。基于对更优质 3D 图形永无止境的需求以及当下庞大的游戏市场,NVIDIA 已在这个虚拟现实、高性能计算和人工智能的交叉口,将 GPU 发展为计算机大脑。收起

查看更多

相关推荐

电子产业图谱

芯片电子元器件IC半导体分销教科书式必读公众号【芯世相】;国产替换,供应链配套,借展出海,方案买卖就找芯片超人。