AR技术原理剖析,一文读懂AR

2018-03-08 13:47:04 来源:传感器技术
标签:

用户对现实世界感知的新技术。一般认为,AR技术的出现源于虚拟现实技术(Virtual Reality,简称VR)的发展,但二者存在明显的差别。传统VR技术给予用户一种在虚拟世界中完全沉浸的效果,是另外创造一个世界;而AR技术则把计算机带入到用户的真实世界中,通过听、看、摸、闻虚拟信息,来增强对现实世界的感知,实现了从“人去适应机器”到技术“以人为本”的转变。

 
 
AR技术原理
AR从其技术手段和表现形式上,可以明确分为大约两类,一是Vision based AR,即基于计算机视觉的AR,二是LBS basedAR,即基于地理位置信息的AR。
 
Vision based AR
基于计算机视觉的AR是利用计算机视觉方法建立现实世界与屏幕之间的映射关系,使我们想要绘制的图形或是3D模型可以如同依附在现实物体上一般展现在屏幕上,如何做到这一点呢?本质上来讲就是要找到现实场景中的一个依附平面,然后再将这个3维场景下的平面映射到我们2维屏幕上,然后再在这个平面上绘制你想要展现的图形,从技术实现手段上可以分为2类:
 
1、 Marker-Based AR
这种实现方法需要一个事先制作好的Marker(例如:绘制着一定规格形状的模板卡片或者二维码),然后把Marker放到现实中的一个位置上,相当于确定了一个现实场景中的平面,然后通过摄像头对Marker进行识别和姿态评估(Pose Estimation),并确定其位置,然后将该Marker中心为原点的坐标系称为Marker Coordinates即模板坐标系,我们要做的事情实际上是要得到一个变换从而使模板坐标系和屏幕坐标系建立映射关系,这样我们根据这个变换在屏幕上画出的图形就可以达到该图形依附在Marker上的效果,理解其原理需要一点3D射影几何的知识,从模板坐标系变换到真实的屏幕坐标系需要先旋转平移到摄像机坐标系(Camera Coordinates)然后再从摄像机坐标系映射到屏幕坐标系。
 
 
在实际的编码中,所有这些变换都是一个矩阵,在线性代数中矩阵代表一个变换,对坐标进行矩阵左乘便是一个线性变换(对于平移这种非线性变换,可以采用齐次坐标来进行矩阵运算)。公式如下:
 
 
矩阵C的学名叫摄像机内参矩阵,矩阵Tm叫摄像机外参矩阵,其中内参矩阵是需要事先进行摄像机标定得到的,而外参矩阵是未知的,需要我们根据屏幕坐标(xc ,yc)和事先定义好的Marker 坐标系以及内参矩阵来估计Tm,然后绘制图形的时候根据Tm来绘制(初始估计的Tm不够精确,还需要使用非线性最小二乘进行迭代寻优),比如使用OpenGL绘制的时候就要在GL_MODELVIEW的模式下加载Tm矩阵来进行图形显示。
 
2、 Marker-Less AR
基本原理与Marker based AR相同,不过它可以用任何具有足够特征点的物体(例如:书的封面)作为平面基准,而不需要事先制作特殊的模板,摆脱了模板对AR应用的束缚。它的原理是通过一系列算法(如:SURF,ORB,FERN等)对模板物体提取特征点,并记录或者学习这些特征点。当摄像头扫描周围场景,会提取周围场景的特征点并与记录的模板物体的特征点进行比对,如果扫描到的特征点和模板特征点匹配数量超过阈值,则认为扫描到该模板,然后根据对应的特征点坐标估计Tm矩阵,之后再根据Tm进行图形绘制(方法与Marker-Based AR类似)。
 
LBS-Based AR
其基本原理是通过GPS获取用户的地理位置,然后从某些数据源(比如wiki,google)等处获取该位置附近物体(如周围的餐馆,银行,学校等)的POI信息,再通过移动设备的电子指南针和加速度传感器获取用户手持设备的方向和倾斜角度,通过这些信息建立目标物体在现实场景中的平面基准(相当于marker),之后坐标变换显示等的原理与Marker-Based AR类似。
 
这种AR技术利用设备的GPS功能及传感器来实现,摆脱了应用对Marker的依赖,用户体验方面要比Marker-Based AR更好,而且由于不用实时识别Marker姿态和计算特征点,性能方面也好于Marker-Based AR和Marker-Less AR,因此对比Marker-Based AR和Marker-Less AR,LBS-Based AR可以更好的应用到移动设备上。
 
 
 
关注与非网微信 ( ee-focus )
限量版产业观察、行业动态、技术大餐每日推荐
享受快时代的精品慢阅读
 

 

作者简介
与非网 小编
与非网 小编

电子行业垂直媒体--与非网小编一枚,愿从海量行业资讯中淘得几粒金沙,与你分享!

继续阅读
大连接时代,我们更需要一双智能眼睛

2018年12月12日,由REALMAX集团举办的沉浸式AR一体机“RealMax乾”新品发布会及年终答谢会在中国上海风语筑设计大楼十楼报告厅举办。

美国高校的AI招生助理走马上任
美国高校的AI招生助理走马上任

现在正是美国申请上大学的关键时刻,无数满怀希望的高中毕业生正努力说服招生委员会,争取在自己选择的学校获得一席之地。但如果这个委员会不是由真正的人类组成的评审团呢?

AR HUD中阳光负载建模的重要性

通过将关键驾驶信息叠加到真实世界中,增强现实(AR)抬头显示(HUD)将彻底改变驾驶体验。如今,AR显示的最佳示例是用于战斗机,可在飞行员的直接视线中置放大量关键信息。

近几年,苹果、谷歌、BAT等巨头也相继高调布局AR,但你知道什么是AR云吗?

《连线(Wired)》杂志创始主编、著名畅销书作家、科技思想家凯文·凯利(Kevin Kelly),被马化腾和张小龙等人极力推崇的“科技预言家”,在最近一次媒体采访中对当前互联网之后的趋势给出了自己的预测,凯文·凯利认为万物网络化(The mesh)是下一个互联网时代,而AR Cloud(AR云)是这个时代最重要的数字技术趋势。

物联网会将未来社会变成什么样子?
物联网会将未来社会变成什么样子?

复旦大学管理学院课题组发布的《移动物联网(2017)行业研究报告》显示,2020年我国移动物联网业务总体市场规模可达1.76万亿元,市场年均复合增长率将达15%。

更多资讯
八十岁的三星,老了
八十岁的三星,老了

辉煌必然会落幕,巨头也终将陨落。历经八十载的迟暮帝国虽在,却早已不复当年的强盛,只能在时代的浪潮下风雨飘摇。如今的三星早已经不是大多数人印象中那个触手遍及各行各业,掌门人咳嗽一声整个韩国都会感冒的庞大集团了。

在智能家居领域走向相反方向的小米和华为,谁能笑到最后?
在智能家居领域走向相反方向的小米和华为,谁能笑到最后?

时间倒拨五年,曾有过一波小范围的智能家居热潮,全套设备安置下来,动辄百万。

手机有曲面屏?明年电视都有可能收卷了
手机有曲面屏?明年电视都有可能收卷了

北京时间12月18日上午消息,据报道,知情人士称,韩国LG电子公司计划明年开始销售一款可以像海报一样卷起来的大屏幕电视,这是该公司重振这项不景气的业务努力的核心部分。

苹果力图从iPhone制造商转型成为未来的服务和高端设备供应商

苹果计划在德克萨斯州的奥斯汀、西雅图和加利福尼亚州的圣地亚哥和卡尔弗市新增数千个就业机会,力图从iPhone制造商转型成为未来的服务和高端设备供应商。

华为让我们看到了中国公司参与全球竞争的希望

1978年3月,33岁的任正非作为解放军科技人员的代表出席了全国科技大会。6000名与会者,像他这样35岁以下的只有150多人。

电路方案