大型语言模型

加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

电路方案

查看更多
  • 边缘侧的电信大模型
    IEEE通信学会发布《电信领域大规模AI应用——创新、规模化落地与数字体验升级路线图》白皮书,指出电信大模型与边缘计算的融合是计算与网络技术领域的范式变革。通过将大语言模型与边缘计算结合,可以解决资源受限问题,提高实时处理能力和隐私安全性。大语言模型的优化技术和云边协同架构有助于实现高性能与资源节约的平衡。在自动驾驶、医疗健康、工业物联网等领域,这种融合技术展现出巨大潜力。未来,微型机器学习和联邦多任务学习等技术也将推动边缘增强型微型机器学习的发展。
  • AI对物联网的两面性:除了正向赋能,也可能形成"技术债务"
    大语言模型为代表的AI新技术在物联网系统研发和实施中的应用,给物联网系统带来前所未有的效率提升,将AIoT推进到新的阶段。不过,AI和物联网的融合,带来正向赋能的同时,也存在一些潜在的风险。近日,一位长期从事工业物联网的专家撰文指出,人工智能工具加速物联网开发,但在接近硬件的层面,一些看似正确的代码可以悄无声息地同时破坏数千台设备,人工智能可能会给物联网形成大量“技术债务”,需高度重视这一现象并提前采取措施。
    227
    05/12 09:50
    AI对物联网的两面性:除了正向赋能,也可能形成"技术债务"
  • 10美元板子,45MB内存,跑10亿参数大模型——PicoLM把LLM推理拉到嵌入式极限
    PicoLM项目展示了如何在一个仅10美元的板子上使用256MB内存运行一个10亿参数的大模型。通过巧妙的内存管理和优化,实现了高效的推理性能,并且强调了小型化和离线使用的可能性。
  • LLM推理的硬件危机,比你想的严重得多
    Google DeepMind的两位工程师发布了一篇关于大模型推理硬件的论文,指出当前硬件架构不适合推理任务,尤其是在解码阶段。论文提出四种解决方案:高带宽闪存(HBF)、近存计算(PNM)、3D内存逻辑堆叠和低延迟互连。这些方案旨在解决内存带宽、容量和通信延迟等问题,而非单纯增加算力。研究者呼吁学术界和产业界合作,共同推动推理硬件的发展。
    LLM推理的硬件危机,比你想的严重得多
  • 电信行业大模型产业洞察:当前趋势、市场驱动因素与壁垒
    IEEE通信学会(ComSoc)发布的《电信领域大规模AI应用——创新、规模化落地与数字体验升级路线图》(LARGE-SCALE AI IN TELECOM——Charting the Roadmap for Innovation, Scalability, and Enhanced Digital Experiences)白皮书,为行业指明了一条融合生成式AI与电信大模型(LTMs)的革命性路径。
    电信行业大模型产业洞察:当前趋势、市场驱动因素与壁垒