2788
引言——
就在最近这一两年，大型语言模型（LLMs）已经彻底颠覆了人们对于人工智能（AI）领域的看法。从增强自然语言处理（NLP）的能力到推动机器学习（ML）的新应用，它们已成为推动技术创新的关键力量。这些模型通过处理巨大的数据集来学习语言的复杂性、语境和细微差别，使得机器能够执行诸如语言翻译、内容创作、情感分析等高级任务，甚至在图像识别和生物医药研究等领域展现出前所未有的潜力。随着技术的飞速进步，我们见证了模型规模的指数级增长，这带来了更高的预测性能和更广泛的应用范围，标志着AI技术进入了一个全新的、更加智能化的时代。
随着模型规模的增加，如何在资源受限的环境中运行这些高性能模型成为了一个挑战。边缘计算设备，如Nvidia Jetson系列，提供了一种在接近数据源的地方进行高效计算的方法，它们能够支持在不依赖云中心的情况下进行实时数据处理和决策。这为大模型的部署提供了新的机遇，尤其是在需要快速响应和处理能力的应用场景中，如自动驾驶、远程监控和智能城市。
然而，边缘设备的计算和存储资源有限，这就要求开发者对模型进行优化，以适应这些约束，同时保持模型的性能和准确性。正是基于这样的背景，米文着手进行了一项前所未有的评测工作，目的是为了深入理解和展示在Nvidia Jetson这样的边缘计算设备上运行各种主流大模型的性能。通过这些评测，我们希望揭示哪些模型能够在Jetson平台上有效运行，以及它们在运行时的性能表现，从而为开发者和企业提供实用的指南，帮助他们在选择和部署大模型时做出更明智的决策，推动边缘计算和人工智能技术的发展。
通过这些评测，米文不仅展现了我们对于推动技术创新的承诺，也为整个AI社区提供了宝贵的资源和见解，助力于解锁边缘计算在未来人工智能应用中的巨大潜力。
PART /1 评测概览
本次评测，主要覆盖以下大模型系列，主要对4bit量化和8bit量化的模型进行评测。（排名不分先后）
A. 通义千问
B. LLAMA2
C. Gemma
D.Mistral
E. Llava
F. Phi
G.tinyllama
PART /2 模型性能对比和建议
A. EVO Orin 64GB（AGX Orin 64GB），2b ~ 34b模型性能对比
B. Apex Orin NX (Orin NX 8GB)
C. 通义千问2在Orin全系列上的性能表现
上述结果，是模型基于CUDA进行加速的测试结果。并没有使用TensorRT-LLM进行加速。在不久的将来，我们将使用TensorRT-LLM来进一步进行评测。
经过我们的测试，对于中文使用场景，通义千问的模型表现比其他英文系的基础模型更好。建议用户可以先进行体验和尝试。
PART/3 结语和展望
米文在Nvidia Jetson平台上对各主流大模型进行的全面评测，标志着我们在边缘计算和人工智能领域的深入探索和创新。这一评测工作不仅展示了米文的技术专业性和前瞻性，而且对于整个行业而言，具有重要的意义和价值。
首先，通过这些评测，我们能够为开发者和企业提供一个清晰、客观的性能参考框架，帮助他们在选择适合在Jetson等边缘设备上运行的大模型时做出更加明智的决策。这对于加速边缘AI应用的开发和部署，提高整个生态系统的效率和效能具有不可估量的价值。
其次，米文的评测工作也推动了大模型优化技术的发展。通过对模型在资源受限环境下的性能表现进行深入分析，我们不仅能够识别现有技术的不足，而且还能够探索和实践新的优化方法，从而推动大模型技术的进步，使其在更广泛的应用场景中得以实用化。
总之，米文在Jetson平台上对大模型性能的全面评测不仅反映了我们对于技术创新的不懈追求。
未来，我们将继续探索和创新，以不断推进边缘计算和大模型技术的发展，为构建一个更加智能、高效和可持续的未来贡献力量。
下载ECAD模型
