【虹科案例】高速相机打破了实时混合现实的障碍

在3D中捕捉现实的问题

媒体公司一直是 360 度视频、虚拟现实(VR)、增强现实(AR)和MR 等技术格式的早期采用者。

与实时相反，MR将物理对象和数字对象以 3D 形式融合在一起，并且通常在带有绿屏和数百个精确校准的摄像机的专用空间中生成。每个场景都需要数小时甚至数天的后期制作时间。

尝试实时进行 MR 已被证明对开发人员在技术和经济上都具挑战性，并且到目前为止，这种形式似乎有点不切实际。虹科的合作伙伴John Ilett表示：“对我们来说，从大量相机中采集和同步高分辨率、高帧率的视频已经很成熟了，但在现场实时处理确实存在挑战。”

深度学习需要辅助

我们的一家合作伙伴认为他们有解决这些问题的策略，计划以多种分辨率捕获图像、重建场景并将MR内容流式传输到最终用户设备。 从开始到结束，直播流中的每一帧只需几毫秒即可完成。

但是有一个障碍是，为了让软件在现实世界中运行，他们需要一个高分辨率、高帧率的相机，内容创作者可以在体育场、音乐会场地或远程位置轻松布置。该公司对相机进行了测试，但使用的模型严重限制了数据吞吐量以及相机与系统数据处理单元之间的电缆距离。为了向前推进，他们需要一台广播质量的相机，能够高速处理体积数据。

提供更高速的相机

从2020年开始，虹科的合作伙伴发布了几款带有高分辨率图像传感器的新相机。这些相机包括带有SFP28-25GigE、QSFP28-50GigE和QSFP28-100GigE接口选项的型号，所有这些型号都提供覆盖任何长度的布线选项。

MR体验中的图像应以极高的帧率和分辨率采集。有了新的相机，我们的合作伙伴能够组装出一个商业上可行的系统。高速抓拍对于体育运动来说尤其重要，因为激动人心的动作往往发生在眨眼之间。例如，在拍摄高尔夫挥杆时，帧速率为30 fps的相机可能只“看到”挥杆的开始和结束，这会显著降低体积内容的质量。

我们的合作伙伴说：“我们不是在工厂里用这些摄像头来检查零件，我们是在用它们来创造娱乐体验。”。“当速度[fps]增加时，快速移动动作的质量会提高，我们产生的输出会更好，整体体验也会提高。”

虹科产品：HK HZ-65000-G: 100GigE 相机

关键特点：

• 高速 QSFP28 – 100GigE 接口
• 65.4MP, 高达71 fps
• 100倍于GigE的速度
• 符合 GigE Vision® 和 Genicam™
• 提供单色和彩色选项
• 提供无风扇和 IP67 选项