加入星计划,您可以享受以下权益:

  • 创作内容快速变现
  • 行业影响力扩散
  • 作品版权保护
  • 300W+ 专业用户
  • 1.5W+ 优质创作者
  • 5000+ 长期合作伙伴
立即加入
  • 正文
    • PART/1 关于Google Gemma模型
    • PART/2 性能评测结果
  • 推荐器件
  • 相关推荐
  • 电子产业图谱
申请入驻 产业图谱

独家测评:Google Gemma模型在Nvidia Jetson平台的性能表现

02/25 07:24
2976
阅读需 5 分钟
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

引言——

朋友们,Google又来炸场,都听说了吧!

还热乎的米文独家测评~

继Gemini Ultra 1.0的超长token支持来拳打OpenAI,昨天又推出了Gemma脚踢Meta。

看这个数据,7b的模型都把13b的Llama-2给虐趴了呀。一下子打开了更多的可能性。

谁不希望像钢铁侠一样,身边有个智能的贾维斯呢?因此,米文火速在全Jetson Orin系列平台上进行了全方位的评测。

PART/1 关于Google Gemma模型

在探索人工智能的边界时,不断有新的技术突破引领着行业的发展。

Google DeepMind以及Google的其他团队,作为领导者之一,在最新的创新中推出了Gemma模型——一个轻量级而先进的语言模型,旨在开启AI的新篇章。

Gemma模型采用了与创建早前广受好评的Gemini模型相同的研究和技术。它不仅在模型设计上进行了优化,还在功能性和应用范围上提供了新的可能。

Gemma的名字灵感来源于拉丁语“宝石”,象征着它在人工智能领域的珍贵价值和多面性。

Gemma模型系列包括两种尺寸的模型重量:Gemma 2B和Gemma 7B,这些模型都经过了预先训练,并通过指令调整以适应不同的应用场景。这种多尺寸策略不仅满足了不同计算能力要求的设备,也为各类开发人员提供了灵活性。

PART/2 性能评测结果

Gemma模型在Jetson平台上展现出了令人印象深刻的性能。

2B的模型,32G的EVO可以达到60 tokens/s的速度。7B模型在EVO Orin上也可以达到21 tokens/s的速度。

而Apex Orin NX和EVO ONO,则只能运行2B的模型,速度为26tokens/s,和21tokens/s。

咋看可能觉得这个速度也不怎么样,但考虑一下7B模型的表现,可还真是挺香的。

展望

Gemma模型在Jetson平台上的卓越性能,不仅证明了其作为一个先进的语言模型的能力,也展示了Jetson平台在支持复杂AI模型方面的强大潜力。

它不仅为Gemma模型的实际应用提供了有力的证据,也为未来在更多边缘计算场景部署复杂AI模型提供了可能。

想象一下,您的智能语音助理不再只是简单地响应命令,而是能够理解复杂的指令和提问,甚至是模糊不清的表达。例如,您对智能音箱说:“我感觉有点冷。” Gemma模型能够理解这不仅仅是状态描述,而是需要采取行动的信号。接着,它调整智能恒温器,使室温稍微升高,同时询问您是否需要一杯热饮或额外的毯子。

在厨房里,Gemma集成的智能设备能够提供定制化烹饪建议。它不仅可以根据您所拥有的食材提供食谱,还能根据您的口味偏好、营养需求甚至是最近的健康数据来调整食谱。当您说:“我今天想吃点健康的,家里有鸡蛋和西兰花。” Gemma能够即刻提供一系列健康的、以鸡蛋和西兰花为基础的食谱,并指导您一步步完成烹饪。

本次“独家测评:Google Gemma模型在Nvidia Jetson平台的性能表现”不仅展示了Gemma模型的强大能力,也证明了Jetson平台在AI领域的应用广泛性和前瞻性。我们相信,随着技术的不断进步,未来将有更多的AI模型像Gemma一样,在Jetson平台上展现出惊人的性能,为各行各业带来革命性的变化。

我们邀请全球的技术开发者、研究人员和行业伙伴,深入探索Gemma模型和Nvidia Jetson平台的潜力,共同推动人工智能技术的发展和应用。让我们携手开启AI技术的新篇章,共创美好未来。

推荐器件

更多器件
器件型号 数量 器件厂商 器件描述 数据手册 ECAD模型 风险等级 参考价格 更多信息
NC7SZ11P6X 1 Fairchild Semiconductor Corporation AND Gate, LVC/LCX/Z Series, 1-Func, 3-Input, CMOS, PDSO6, 1.25 MM, EIAJ, SC-88, SC-70, 6 PIN
$0.37 查看
NC7SZ14M5X 1 Fairchild Semiconductor Corporation Inverter, LVC/LCX/Z Series, 1-Func, 1-Input, CMOS, PDSO5, 1.60 MM, ROHS COMPLIANT, MO-178AA, SOT-23, 5 PIN
$0.67 查看
AD9517-4ABCPZ 1 Analog Devices Inc 12-Output Clock Generator with Integrated 1.6 GHz VCO
$17.35 查看

相关推荐

电子产业图谱

米文动力科技有限公司是一家专业从事嵌入式人工智能科技的高新技术企业, 致力于提供边缘计算产品及技术,以坚实底座促进人工智能产业高质量发展。是国内首批英伟达全球生态推荐战略合作伙伴。

微信公众号