研华推出面向生成式 AI 的边缘 AI 服务器解决方案

全球工业物联网厂商研华科技宣布，采用Phison的aiDAPTIV+专利技术，为生成式人工智能（Generative AI）提供开创性的边缘AI服务器解决方案。AIR-520 Edge AI Server采用AMD EPYC 7003系列处理器，集成了SQ ai100 AI SSD、NVIDIA RTX GPU卡、Edge AI SDK和NVIDIA AI Enterprise，提供了一个可立即部署的解决方案。

大型语言模型（LLM）等生成式AI工具正通过自动化数据组织、检索和分析改变企业知识管理，提高生产力并改善决策。定制大型语言模型（LLM）提高了准确性，而边缘训练则增强了数据隐私属性（成本相应提高）。该方案支持大型语言模型（LLM）微调配备1-4个显卡和SQ AI100 AI SSD，供企业经济高效地训练大型语言模型（LLM），同时保护边缘敏感数据安全。

适用于不同应用的四种解决方案

对此研华提供四种选择：AIR-520-L13B/L33B/L70B和L70B-Plus，针对不同规模和应用量身定制。L13B非常适合聊天机器人和语言翻译提高生产力和内容创作创新能力。L70B擅长专业领域的复杂数据分析和决策。此外，L70B-Plus配备了NVIDIA AI Enterprise软件平台，提供端到端的、可靠的优化AI SDK，提供长期支持和专家咨询服务，保障业务场景中的高效部署。

安装简单快捷，优化成本效益

所有解决方案均包含SQ AI100 AI SSD，后者采用群联（Phison）aiDAPTIV+技术。此系列SSD充当显卡vRAM的扩展，使系统能够使用最少的显卡对大型语言模型（LLM）实现微调。这种方案不仅减轻了客户的预算负担，而且相比传统的大型机架式服务器，边缘AI服务器会更加紧凑。AIR-520边缘AI服务器专为各种边缘AI应用设计，尺寸与台式电脑相当，并且可以通过适当的附件安装在机架上。凭借轻薄的设计，该产品可以实现在边缘AI微调环境中的轻松部署，打消了客户在空间和维护上的忧虑。

通过软件服务快速跟踪生成式AI的开发

除了大型语言模型（LLM）微调功能外，研华还提供了带有生成式AI训练工作室的边缘AI SDK，预装了Llama-2 13B/33B/70B模型，用于聊天机器人和数据分析等应用。此举将简化并加速通过AIR-520进行客户专属大型语言模型（LLM）模型训练和推理评估工作的进程。此外，研华的DeviceOn提供OTA软件/容器更新和远程管理，促进高效的边缘AI编排和长期维护。

产品特性：

• 采用AMD EPYC 7003处理器的服务器级性能，提供多达64个内核、768GB DRAM和四个PCle x16扩展插槽
• 高达768GB DDR4 3200 DRAM
• 支持4个PCIe x16扩展插槽
• 集成1200W PSU，可为两块NVIDIA L40S图形卡供电

面向生成式AI的AIR-520边缘AI服务器方案早期样品现已推出。