AI推理

加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论
  • 不用HBM的AI芯片:美国很多,中国很少!为什么?
    AI推理推高HBM,但解码架构分化,Groq等用SRAM/DDR替代HBM。中国因先进制程产能紧张、早期token需求不足、成本与性能约束,无HBM芯片推进较慢。主要路线包括DDR、混合键合DRAM、SRAM、ReRAM;华为950PR短期最确定,字节ReRAM与东方算芯为外卡。中国更可能走华为式系统级与工业生态优化,而非复制Groq。
    126
    10/28 20:15
  • RISC-V瞄准AI算力新战场,蓝芯算力推出通用智算一体机
    RISC-V峰会提出:AI智能体正推动算力从集中式云端向业务现场迁移。蓝芯算力以LX500通用智算一体机(48核、75TOPS)和开放架构,面向政务、金融、工业、教育等场景,强调算力、数据、成本本地化,加速分布式边缘智能落地。
    449
    10/20 14:27
  • HBF到底是什么?把NAND做成“高带宽内存”,Sandisk想解决 AI推理的容量墙
    HBF是SanDisk面向AI推理的High Bandwidth Flash,用大容量NAND通过高度并行、CBA键合与先进封装实现1.6TB/s带宽,目标在HBM与SSD之间新增高带宽大容量内存层。它更适合读取为主的模型权重和MoE专家,而非替代HBM;KV Cache、训练及真实有效带宽、延迟、耐久仍需验证。最终价值取决于降低$/token。
    467
    10/19 16:52
    HBF到底是什么?把NAND做成“高带宽内存”,Sandisk想解决 AI推理的容量墙
  • “RISC-V第一股”诞生记
    10月9日,奕斯伟计算在港交所上市,成为首个纯RISC-V芯片标的。AI推理需求推动RISC-V从技术验证转向商业化。公司以可复用IP模块、全栈工具链和场景化产品矩阵降本增效,从人机交互芯片拓展到MCU、AI SoC、边缘计算,并布局RISC-V+AI端边云生态。其营收稳步增长但尚未盈利,资本市场更关注长期卡位。
    “RISC-V第一股”诞生记
  • 当AI芯片用0.2%的销量撑起50%的收入,半导体还是周期行业吗?
    2026年半导体呈AI主导的资本开支超级周期:生成式AI芯片近占收入一半但产量极低,收入集中于少数云厂商与高端芯片。非AI虽有“涓滴”增长,消费类却量跌价升,靠存储涨价和单机芯片含量提升维持收入,掩盖终端复苏不足。AI挤占晶圆与存储产能,使消费芯片面临虚假景气。短期供给瓶颈支撑高景气,中期需推理接棒;若训练资本开支退潮,行业或痛苦出清,消费类难以补位。
    当AI芯片用0.2%的销量撑起50%的收入,半导体还是周期行业吗?
  • 英伟达涨价背后,ASIC要被认真对待了
    英伟达服务器价格上涨,推动定制芯片经济性凸显,AI推理步入规模化运营阶段,算力买家需综合考虑芯片架构、软件栈、供应链和资金成本。
    英伟达涨价背后,ASIC要被认真对待了
  • 被老黄挖空的AI芯片独角兽,融资24亿
    美国AI推理云独角兽Groq宣布完成3.5亿美元A轮融资,投后估值35亿美元。本次融资主要用于扩充基于英伟达芯片的计算集群,以提供更强的AI模型训练和运行能力。Groq表示,尽管估值有所下降,但这并不意味着降价,而是反映了其业务重心从自研向英伟达技术授权的转变。此外,Groq还透露了其未来两年的数据中心扩张计划,目标是在2027年将总算力规模提升至200兆瓦以上。
    533
    08/19 18:36
  • 一个请求错配了GPU,AI推理可能慢100倍
    AI推理时代,大模型推理任务的性能受请求路由影响显著,尤其是KV Cache命中率。传统基础设施假设各服务器同等可用,但在AI推理中,GPU节点的状态变得至关重要。Kubernetes面临调度逻辑调整,需考虑GPU状态而非单纯空闲资源。代理层和网关需承担更多决策职责,从简单的流量转发转向复杂的任务链管理。安全性和权限控制也需要适应动态任务链的需求,从静态权限转变为动态授权。AI推理推动基础设施逻辑变革,促使系统更加智能化和灵活。
    492
    08/18 07:54
  • 独家解读丨对手买「法拉利」,AMD为何给自己添了一辆「拖拉机」?
    AMD收购AI推理芯片公司Taalas,将其技术纳入加速器路线图,与Instinct GPU共同开发系统级解决方案。Taalas专注于围绕单一模型定制芯片,通过硬件固化模型权重和部分数据流,提高推理性能和效率。这一策略适用于特定且稳定的模型,但面临模型迭代和多芯片系统挑战。
    459
    08/16 09:20
    独家解读丨对手买「法拉利」,AMD为何给自己添了一辆「拖拉机」?
  • 刚刚,AMD收购一家AI芯片公司!24人打造6nm推理芯片刷屏硅谷
    AMD宣布收购AI推理芯片创企Taalas,后者技术将完善AMD全栈AI平台,包括Helios机架级解决方案、Instinct GPU、EPYC CPU、ROCm软件及AI生态系统。Taalas技术独特,无需软件即可将模型结构、参数与权重固化于硬件中,但存在高错误率问题。AMD计划将其技术融入加速器路线图,并利用Instinct GPU开发系统级解决方案。
    563
    08/10 23:54
  • 光计算来到商业化拐点,中国企业开始创造自己的“硬件彩票”
    光计算在WAIC 2026上受到广泛关注,重点转向商业落地。曦智科技展示了全球首款光电智算一体机“天枢·光立方”,并在实际场景中实现了稳定运行,标志着光计算开始进入可持续运行、可验证效果、可复制推广的商业案例。曦智科技最新一代PACE 3光计算芯片已成功回片,主要面向低延迟大模型推理设计,有望解锁更丰富的使用场景。曦智科技正推动光电混合计算从实验室走向产业化落地,通过与高校、科研院所合作,培养下一代算法,同时注重产品的实际应用和商业化推广。
  • 数亿元!华为芯片老兵的LPU创企又融资了
    元川微完成数亿元Pre A轮融资,加速LPU+推理基础设施商业化落地。公司专注于AI实时推理算力芯片,推出Mountain和River两大系列产品,目标是降低部署复杂度与TCO,满足推理应用对确定性超低时延、高算力、高能效与低成本的核心需求。元川微的核心团队由华为芯片领域老兵组成,具备从底层架构、软件栈到系统工程的研发能力。
    数亿元!华为芯片老兵的LPU创企又融资了
  • “小芯片”胜过巨头“大芯片”,国产算力黑马祭出“并行计算”杀手锏
    芯动力科技推出基于自研RPP架构的全栈AI加速产品矩阵,针对AI推理场景,特别是大模型推理,提出了一种全新的分布式计算方案。该方案通过多芯片协同SRAM的优势,显著降低了每10亿Token的推理成本,达到了行业最优水平。芯动力强调,AI编程将成为大模型推理落地的最佳场景,开源生态带来的巨大市场机会促使他们将RPP芯片扩展至云端,实现分布式计算的极致效能。芯动力通过成熟的14nm工艺实现高性能,保持了良好的性价比,并计划在未来产品中实现4倍以上的性能提升。
    862
    07/22 13:18
  • 超节点元年,AI互联进入“原生”时代
    2026世界人工智能大会上,超节点成为最大热点,多家企业发布相关方案,强调互联技术的重要性。AI推理和Agent应用的需求促使互联技术从通用转向AI原生,提出Io解耦、AI网卡和光互联的新架构。奇异摩尔推出Kiwi Fabric,涵盖Scale Inside至Scale Out的全链路产品,旨在打破碎片化,促进国产超节点生态共建。
    超节点元年,AI互联进入“原生”时代
  • 边缘AI算力到底要多少才够?一台EC700把这个问题终结了
    一、6TOPS只是起点,320TOPS才是终点 EC700搭载瑞芯微RK3588J八核工业处理器,4核Cortex-A76加4核Cortex-A55,标配8GB RAM加128GB eMMC。内置NPU提供6TOPS算力,支持INT4、INT8、INT16、FP16混合运算。 6TOPS是什么概念?跑个YOLOv8做目标检测,单路1080P视频推理延迟能压到50ms以内。4路工业相机同时跑,CPU
  • 大模型企业“造芯”,还有谁?
    DeepSeek正在开发自有AI推理芯片,预计处于早期阶段,并已与多家芯片设计公司、晶圆代工厂及存储厂商展开洽谈。DeepSeek希望通过自研芯片降低对外部芯片的依赖,提高推理性能并降低成本。尽管面临芯片供应链挑战,DeepSeek已完成首轮融资,资金将主要用于芯片研发。此举动标志着中国AI企业在向全方位自主能力建设迈进。
  • DeepSeek造芯进展曝出!梁文锋3年前或已战略布局
    DeepSeek正在自研AI推理芯片,以减少对英伟达和华为芯片的依赖。知情人士透露,DeepSeek自研芯片工作始于一年前,目前仍在早期阶段并与多家企业洽谈。DeepSeek近期增加了芯片设计工程师的招聘数量。DeepSeek创始人表示,他们面临的真正挑战是高端芯片的出口禁令。DeepSeek目前同时使用英伟达和华为芯片,其中昇腾芯片参与了V4-Flash模型的部分训练。DeepSeek即将发布新一代模型DeepSeek V4正式版,预计7月中旬推出。
    871
    07/08 12:51
  • 没有记忆,AI推理落不了地|爱分析访谈
    红熊AI CEO温德亮认为,记忆不应仅作为模型的外挂或插件,而应成为推理入口,强调记忆驱动推理的重要性。红熊AI首先聚焦于客服、营销等易商业化场景,利用应用收入反哺底层技术建设,并逐步扩展至更通用的能力。记忆赛道的发展历程表明,商业化成功的关键在于能否有效解决实际业务需求并产生经济效益。此外,记忆系统还需具备反思和遗忘机制,以适应不断变化的企业环境。尽管开源有助于扩大影响力,但闭源模式更能保障企业的实际收益。红熊AI目前采用订阅加本地化部署模式,预计今年营收可达五亿元人民币。
    799
    06/30 10:55
    没有记忆,AI推理落不了地|爱分析访谈
  • 被遗忘十年的LPU翻红,一门新生意成立了吗?
    AI推理时代到来,专业化分工成为芯片行业共识。谷歌、Anthropic、SambaNova等企业纷纷尝试将不同计算任务拆解给不同类型芯片处理。Groq的LPU因其独特的编译能力和SRAM高带宽存储,在推理系统中扮演重要角色。然而,LPU面临的挑战是如何在激烈的市场竞争中脱颖而出并实现盈利。
    529
    06/28 12:52
  • LPDDR逆袭:AI推理芯片为何集体“换芯”?
    LPDDR正在数据中心、端侧AI、桌面AI等领域迅速普及,因其成本低、容量大、功耗低等特点受到青睐。高通、英特尔、英伟达等厂商纷纷采用LPDDR作为推理芯片的内存方案,推动LPDDR需求急剧增长。随着LPDDR6的发展,单颗芯片容量有望达到512GB,性能大幅提升,进一步满足AI推理对大容量和低功耗的需求。
    LPDDR逆袭:AI推理芯片为何集体“换芯”?

正在努力加载...