外交部例行记者会上,法新社记者提问,英伟达的临时CEO称,将不再向中国出货H200芯片。外交部发言人回复,中方此前已经多次阐明在美国输华芯片问题上的原则立场。
提问的不例行,回答的挺例行。
所以大家开始讨论,这个举措,到底会不会卡住中国算力的脖子,又引申到中国到底缺不缺算力的问题上。
大部分人都斩钉截铁地说,缺,极其缺。
大家列举的缺算力的理由很丰富,也很有说服力,有行业一线信息反馈的,有看互联网大厂现金流的,有说市场价格炒上天的……
但对这个问题,我是持不确定性态度的。
我迟疑的原因是,如果缺算力,为啥这么多模型都可以顺畅地用,而且很多都是免费用?也没有出现哪个模型缺token用不了的情况。
如果真缺算力,那应该花钱买token都买不到的啊,大量的AI应用因为token不足而无法落地啊……
不能因为是高科技,基本的经济学规律就失效了啊。
刚想到这里,就被群里一张截图打脸了,原来真的是算力不足……
当然了,以上说的这些算力,都是推理算力,更重要的还有训练算力,现阶段来看,训练算力确实离不开n卡。
不知道几大国产模型厂商,在训练层面和国产卡适配程度如何了,了解的小伙伴,可以在不涉密的情况下评论区透个题。
但我直觉上,适配的整体进展肯定不会像咱们凭空想象的那么顺利,前两天不还有个新闻么,“摩尔线程完成Kimi K3.1 Pro训练适配”,如此重大的新闻,都上了科技头条了。
既然n卡在模型训练环节如此关键,有人提了一个数据,中国区的收入只占英伟达的5%,所以中国模型的训练,是急缺卡的。
这个倒是说得通,但是——
就出现了一个极其不合理的逻辑,全球排名第二的AI大国,用5%的算力,几乎追平了全球排名第一的95%的算力。
当然也有不合规渠道进来的,但新加坡小黄同学的业务,充其量也就几十亿美金,在老黄业务体量中,毛毛雨了。
所以这90%的巨大进步,难道只归因于DS工程师的算法优化的巧思么?
还有人不合时宜地提了俩字——“蒸馏”。
这个比较敏感,也容易伤民族自豪感,我就不细说了,肯定或多或少有这个情况,但这不是核心因素。
你刚发布一个新版本,我几天内就追平了,这靠“蒸馏”是来不及的,又不是蒸馒头,蒸馒头还得现和面呢。
还有人说可以利用海外的算力做模型训练,也可以规避n卡入境的问题。
要不然东南亚那几个弹丸之国,为啥“库库库”买算力,一买买几十亿建算力中心。
这个模式也许合理,但又牵扯到另一个更严重的问题,n卡不入境,那就得数据出境,哪个大厂敢碰这个红线?
当然,在训练层面上,虽然算力如此重要,模型大厂甚至不惜重金高价求购算力,但我却要唱个反调。
现在国产大模型进展速度,怎么说呢,等于美国大模型在前面跑,我们在后面追,说蒸馏也好,说巧思也罢,反正把美国厂商追的裤子都快跑掉了。
所以他们聚在一起,商量了一下,然后在同一天对外表达了同一个意思,要暂定前沿模型的研发。
理由是安全问题和中国厂商蒸馏问题。
鬼扯的理由,你心地善良在等我们么,还是你拍一我拍一,下个开局我追你?
真是的原因,无非是大模型的训练,确确实实毕竟瓶颈了,投入产出比越来越低,边际效应已经断崖式递减,你看他们最近发布的模型,都在pk垂域应用和能力了,说明通用能力几乎抵达天花板……
这个时候,算力似乎真的没那么重要了。
以上仅为个人呓语,可以拍砖,但别拍脑袋。
48