7565
随着网络摄像机的广泛应用，IPC SoC芯片已经崭露头角，成为智慧城市管理的关键技术组件。其在市场上的地位得益于其卓越的性能，包括高图像质量、算法的广泛兼容性及出色的低功耗特性。这些特点使得它们日益受到市场的热烈欢迎。
亮相CPSE，爱芯元智展示“真黑光”技术
2023年10月25日，在深圳CPSE期间，爱芯元智举行了爱芯元智“黑光全彩体验中心”媒体沟通会，爱芯元智副总裁史欣接受了与非网记者的采访。
爱芯元智副总裁史欣
这已经是爱芯元智第二次参加深圳CPSE，与首次参展相比，爱芯已取得了市场和客户上的显著进展。史欣介绍，目前爱芯元智的业务线已经涉及多个领域：包括智慧城市、智能驾驶和机器人及AR、VR等。史欣认为这些业务的核心是对视频和环境感知的需求，这在AI中至关重要。面对碎片化的市场，他们锚定于算力和感知，目标是提高图像效果并确保NPU的高能效比。史欣表示，作为普惠AI的推动者，爱芯元智根据市场反馈对业务线进行了重新梳理和思考。他表示：“尽管人们普遍认为AI是一个无所不在的技术，但实际上，这并不意味着所有的AI技术都会被市场所接受。”因此，爱芯元智的目标又过去专注于更先进的AI技术，转型到更务实的普惠AI，重点在于如何助力客户实现商业成功。
事实上，爱芯元智充当了为客户提供技术能力支持的角色，从画面分割、图像超分到人车非结构化算法，爱芯展现了自家芯片集成的强大综合能力。经过四轮技术迭代，爱芯元智的自研核心技术，如爱芯智眸AI-ISP和爱芯通元混合精度NPU已经在市场和客户中取得了不俗的突破。
本次安防展上，爱芯元智重点介绍了其两款新产品：AX630C和AX620Q。它们都搭载了最新的爱芯智眸AI-ISP4.0图像处理引擎以及爱芯通元4.0高性能、低功耗的NPU引擎。这些技术的升级使得这两款产品在视频图像效果、智能业务处理和分析等方面均达到了业界的领先水平。具体细节上，AX630C是一款针对智慧城市IPC市场的超高清智能SoC，能够提供4K@30fps的实时“真黑光”技术。而AX620Q则是面向模组与渠道IPC市场的高清智能SoC，支持5Mp的实时和4K的非实时“真黑光”技术。另外，AX630C和AX620Q在功耗、集成度及性能等方面都表现出了明显优势。AX630C，凭借其高算力，以及新一代的NPU引擎，不仅支持主流的Transformer网络，还能解决算法精度和泛化性的问题。而AX620Q，虽然在算力上略显不足，但在集成度和功耗上则更胜一筹。为了满足客户的多样化需求，这两款产品都配备了完备的SDK软件开发包，确保快速、高效的量产。
“真黑光”技术：重新定义暗环境摄像与图像处理
现场展示暗室环境拍摄
据介绍，爱芯元智的“真黑光”技术结合了AI-ISP与NPU，确保即使在极低的照度条件下，也能真实地还原画面，实现超过人眼识别能力的清晰度。在不足0.001Lux的光照条件下，它还能够提供高帧率的实时色彩展现，而且画面中没有任何拖影或鬼影，这无疑为摄像技术开创了新的纪元。
黑光全彩摄像机是一种可以在微弱光源中保持全彩效果的设备。虽然传统方法如使用大靶面sensor或降低帧率可以部分达到这个效果，但在特别暗的环境中，仍然面临种种问题。而爱芯元智的技术则完全打破了这一限制，使得在如城市路口或乡村养殖业等多种环境下，即使是在夜间，也能捕获到高品质的彩色视频。
ISP系统是实现“真黑光”效果的核心。爱芯元智公司AI-ISP专家张兴曾在一次论坛上深入地解释了这一创新ISP架构的工作原理。简单地说，ISP的功能就像人类的大脑，它处理并优化传感器所捕捉到的影像，确保输出的视频具有最优的质量。
爱芯元智副总裁史欣现场分享了更多关于“黑光全彩”技术的应用前景。他提到了与创维公司的成功合作，这不仅是一个技术上的里程碑，也预示着图像处理技术即将进入一个全新的阶段。而且，这项技术的应用远不止于此。在汽车行业，特别是自动辅助驾驶系统中，当车辆在无光环境下行驶时，也开始广泛使用这项技术。史欣进一步预测，随着技术的不断演进，“真黑光”未来将不再只是处理可见光，而是将包括毫米波雷达、红外热成像等多种传感器信号融合，而这一切都将依赖于AI的处理和集成能力。
爱芯智眸AI-ISP技术：一场图像处理的革命
数字成像技术，自从其诞生之日起，就为人们的生活带来了翻天覆地的变化。其中，图像信号处理（ISP）技术占据了核心地位。传统的ISP技术，尽管历经数十年的发展和完善，但仍存在局限性，特别是在处理复杂、动态的实时视频流时。而现在，随着AI技术的迅速发展，AI-ISP技术应运而生，它模拟人的大脑对图像数据进行处理，为用户带来了前所未有的视觉体验。
爱芯元智公司清楚地认识到，仅依靠传统方法是无法满足现代智能化需求的。在这样的认知驱动下，他们对AI技术进行了深度的融入，全新地升级了ISP Pipeline的关键模块，使得在各种应用场景下，无论是公共安全、智慧交通还是家庭娱乐，成像效果都得到了质的飞跃。这不仅优化了图像和视频数据的质量，而且为后续的智能处理打下了坚实的基础。
同时，爱芯通元混合精度NPU技术的研发进一步推动了这一创新。传统的处理技术经常面临数据传输量大、处理效率低的问题，特别是在功耗有限的场景下。但混合精度NPU技术改变了这一现状，它成功地降低了数据传输量，提高了处理效率，并保证了在不同应用场景中都能够流畅运行各种复杂的智能算法。
爱芯智眸AI-ISP和爱芯通元混合精度NPU引领了视频码流的结构化处理技术变革。这一技术的突破不仅大幅提升了芯片的工作性能，也在智慧城市领域取得了显著的业绩，促进了大批量的产品出货。爱芯元智的爱芯智眸AI-ISP技术为ISP Pipeline中的四个核心模块——HDR、3DNR、RLTM和Demosaic——带来了前所未有的深度优化。这四个模块是决定图像清晰度和整体质量的关键，但在传统ISP技术下，往往难以达到理想的处理效果。而现在，借助于爱芯智眸AI-ISP，这些难题得到了完美解决。
黑光技术就是该爱芯技术优势的又一明证。在低光照条件下，许多现有的技术都表现得力不从心，而爱芯智眸AI-ISP则轻松应对，它能够在极低亮度条件下实时识别移动物体，并准确还原色彩。史欣认为，随着技术的不断进步和市场的逐步扩大，AI-ISP技术将被更多的产品和解决方案所采纳。
Transformer模型的前景与挑战
随着科技的进步，AI已经不再是一个遥不可及的概念，它已经深入到各个产业领域中。如今，越来越多的厂商开始涉足AI领域，提供各种基于AI的解决方案，市场竞争日趋激烈。其中，一大原因是由于技术的成本下降，这意味着更多先进的功能和技术变得触手可及，进而带来了市场上对高清像素和其他高级功能的强烈需求。
史欣认为随着技术的进步，AI真正面临的挑战在于它们在真实应用场景中的表现。谈及AIGC厂商对AI的兴趣时，史欣坦言许多华南的客户更关注的是产品的实际效果而非背后的技术。他认为，科技要与实际需求相匹配，才能真正地被市场所接受。史欣以与创维的合作为例，分享了在无光环境下如何通过技术呈现真实全彩图像。这一技术的推出不仅仅是为了吸引消费者的目光，更多的是希望能满足客户的实际需求，给用户带来真正的价值。
此外，近年来AI大模型也对智慧城市产生深远影响。领头企业纷纷推出大模型，意图从To G或To大B业务拓展到To小B和To C。这增强了技术粘度和产品中标能力。但消费类市场因成本和技术门槛而难以进入。对于端侧芯片部署，客户需求集中于不降低性能和高性价比。这是芯片企业共同的挑战。爱芯的解决策略基于先前的基础，优化工具链、算子集，并将更多原来需要DSP和FPGA处理的功能进行硬化处理，。成功关键在于构建芯片PPA最优。DSP、FPGA在高端场景得以留存是因为算法持续优化。ASIC的优势在于固定已知的多种应用算法，进行硬化，而有一些探索中的算法需要FPGA、DSP的灵活性。
作为普惠AI的推动者，爱芯元智深知在端侧部署大模型的视觉AI的重要性。当面临长尾场景下的高投入问题时，端侧部署大模型不仅提供了一种解决方案，而且可能是未来的主流趋势。当前，凡涉及摄像头捕捉画面的应用场景，Transformer大模型的需求正在快速增长。这种需求的增加是由多种因素驱动的，其中包括技术的进步、市场的需求和用户的期望。然而，部署的速度往往受到研发和资源的限制，这需要不同行业进行适当的调整和规划。
史欣也分享了Transformer在智慧城市中的应用情景，并提到了Transformer技术如何帮助提高检索准确性，这为爱芯带来了新的机会和挑战。史欣认为，为了确保技术部署的商业价值，需要持续的研发和创新。他期待行业上下游的紧密合作，希望看到更多具有实际应用价值的技术和产品诞生。
对于技术公司，特别是专注于芯片设计的公司，如何在端侧快速部署Transformer模型成为了一项关键任务。从爱芯元智的经验来看，降低大模型带宽的使用和优化Transformer的结构是实现这一目标的关键。爱芯元智的AX650N芯片已经在实际部署中证明了自己的价值，并为下一代芯片提供了宝贵的经验。
从更宏观的角度看，爱芯元智的成功并非偶然。从2020年首颗高性能AI视觉芯片AX630A的量产，到2021年的第二代边缘侧智能芯片AX620A，再到今年发布的旗舰款AX650N，爱芯元智一直在不断创新，为端侧和边缘侧的AI应用提供了强大的支持。但这只是开始。随着大模型在端侧和边缘侧的更广泛部署，爱芯元智希望能在其AI算力平台上开发更多基于Transformer模型的应用，为整个行业带来实际价值。
总结
史欣对与非网记者表示，一个公司无法独自完成AI产业链的所有任务，需要产业的共同努力。各企业应专注于自己擅长的领域，共推关键技术如软硬结合。合作伙伴需提供算法和软件，满足量化需求。对于端侧AI芯片的未来趋势，史欣认为端侧芯片将小型化，追求极致性价比，满足1-2年业务需求，对消费者可能是1-1.5年。除性能外，易用性关键，产品应更“傻瓜式”，特别适合技术能力不强，但有其他优势的客户。
史欣同时预测到感知设备将增多，特别是新能源汽车市场。后端处理系统需能处理各种传感器输入。他期望未来的SoC既能处理传感器输入，也有强大的计算能力满足应用需求。Transformer大模型为AI行业创新机会，爱芯元智在此领域取得成功，且预期未来其影响力增大。
图像处理因AI技术应用进入新时代，爱芯智眸AI-ISP证明了其在图像处理的领先地位，展望广泛的成像未来。其“黑光全彩”技术预示摄像技术新纪元，对智慧城市和IoT有巨大应用潜力。展望未来，爱芯元智将继续合作推进技术进步，创建技术前沿、广泛应用的新时代。
下载ECAD模型
