AI推理

加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

电路方案

查看更多
  • 边缘AI算力到底要多少才够?一台EC700把这个问题终结了
    一、6TOPS只是起点,320TOPS才是终点 EC700搭载瑞芯微RK3588J八核工业处理器,4核Cortex-A76加4核Cortex-A55,标配8GB RAM加128GB eMMC。内置NPU提供6TOPS算力,支持INT4、INT8、INT16、FP16混合运算。 6TOPS是什么概念?跑个YOLOv8做目标检测,单路1080P视频推理延迟能压到50ms以内。4路工业相机同时跑,CPU
  • 大模型企业“造芯”,还有谁?
    DeepSeek正在开发自有AI推理芯片,预计处于早期阶段,并已与多家芯片设计公司、晶圆代工厂及存储厂商展开洽谈。DeepSeek希望通过自研芯片降低对外部芯片的依赖,提高推理性能并降低成本。尽管面临芯片供应链挑战,DeepSeek已完成首轮融资,资金将主要用于芯片研发。此举动标志着中国AI企业在向全方位自主能力建设迈进。
  • DeepSeek造芯进展曝出!梁文锋3年前或已战略布局
    DeepSeek正在自研AI推理芯片,以减少对英伟达和华为芯片的依赖。知情人士透露,DeepSeek自研芯片工作始于一年前,目前仍在早期阶段并与多家企业洽谈。DeepSeek近期增加了芯片设计工程师的招聘数量。DeepSeek创始人表示,他们面临的真正挑战是高端芯片的出口禁令。DeepSeek目前同时使用英伟达和华为芯片,其中昇腾芯片参与了V4-Flash模型的部分训练。DeepSeek即将发布新一代模型DeepSeek V4正式版,预计7月中旬推出。
    965
    07/08 12:51
  • 没有记忆,AI推理落不了地|爱分析访谈
    红熊AI CEO温德亮认为,记忆不应仅作为模型的外挂或插件,而应成为推理入口,强调记忆驱动推理的重要性。红熊AI首先聚焦于客服、营销等易商业化场景,利用应用收入反哺底层技术建设,并逐步扩展至更通用的能力。记忆赛道的发展历程表明,商业化成功的关键在于能否有效解决实际业务需求并产生经济效益。此外,记忆系统还需具备反思和遗忘机制,以适应不断变化的企业环境。尽管开源有助于扩大影响力,但闭源模式更能保障企业的实际收益。红熊AI目前采用订阅加本地化部署模式,预计今年营收可达五亿元人民币。
    432
    06/30 10:55
    没有记忆,AI推理落不了地|爱分析访谈
  • 被遗忘十年的LPU翻红,一门新生意成立了吗?
    AI推理时代到来,专业化分工成为芯片行业共识。谷歌、Anthropic、SambaNova等企业纷纷尝试将不同计算任务拆解给不同类型芯片处理。Groq的LPU因其独特的编译能力和SRAM高带宽存储,在推理系统中扮演重要角色。然而,LPU面临的挑战是如何在激烈的市场竞争中脱颖而出并实现盈利。
    504
    06/28 12:52