AR技术原理剖析,一文读懂AR

2018-03-08 13:47:04 来源:传感器技术
标签:

用户对现实世界感知的新技术。一般认为,AR技术的出现源于虚拟现实技术(Virtual Reality,简称VR)的发展,但二者存在明显的差别。传统VR技术给予用户一种在虚拟世界中完全沉浸的效果,是另外创造一个世界;而AR技术则把计算机带入到用户的真实世界中,通过听、看、摸、闻虚拟信息,来增强对现实世界的感知,实现了从“人去适应机器”到技术“以人为本”的转变。

 
 
AR技术原理
AR从其技术手段和表现形式上,可以明确分为大约两类,一是Vision based AR,即基于计算机视觉的AR,二是LBS basedAR,即基于地理位置信息的AR。
 
Vision based AR
基于计算机视觉的AR是利用计算机视觉方法建立现实世界与屏幕之间的映射关系,使我们想要绘制的图形或是3D模型可以如同依附在现实物体上一般展现在屏幕上,如何做到这一点呢?本质上来讲就是要找到现实场景中的一个依附平面,然后再将这个3维场景下的平面映射到我们2维屏幕上,然后再在这个平面上绘制你想要展现的图形,从技术实现手段上可以分为2类:
 
1、 Marker-Based AR
这种实现方法需要一个事先制作好的Marker(例如:绘制着一定规格形状的模板卡片或者二维码),然后把Marker放到现实中的一个位置上,相当于确定了一个现实场景中的平面,然后通过摄像头对Marker进行识别和姿态评估(Pose Estimation),并确定其位置,然后将该Marker中心为原点的坐标系称为Marker Coordinates即模板坐标系,我们要做的事情实际上是要得到一个变换从而使模板坐标系和屏幕坐标系建立映射关系,这样我们根据这个变换在屏幕上画出的图形就可以达到该图形依附在Marker上的效果,理解其原理需要一点3D射影几何的知识,从模板坐标系变换到真实的屏幕坐标系需要先旋转平移到摄像机坐标系(Camera Coordinates)然后再从摄像机坐标系映射到屏幕坐标系。
 
 
在实际的编码中,所有这些变换都是一个矩阵,在线性代数中矩阵代表一个变换,对坐标进行矩阵左乘便是一个线性变换(对于平移这种非线性变换,可以采用齐次坐标来进行矩阵运算)。公式如下:
 
 
矩阵C的学名叫摄像机内参矩阵,矩阵Tm叫摄像机外参矩阵,其中内参矩阵是需要事先进行摄像机标定得到的,而外参矩阵是未知的,需要我们根据屏幕坐标(xc ,yc)和事先定义好的Marker 坐标系以及内参矩阵来估计Tm,然后绘制图形的时候根据Tm来绘制(初始估计的Tm不够精确,还需要使用非线性最小二乘进行迭代寻优),比如使用OpenGL绘制的时候就要在GL_MODELVIEW的模式下加载Tm矩阵来进行图形显示。
 
2、 Marker-Less AR
基本原理与Marker based AR相同,不过它可以用任何具有足够特征点的物体(例如:书的封面)作为平面基准,而不需要事先制作特殊的模板,摆脱了模板对AR应用的束缚。它的原理是通过一系列算法(如:SURF,ORB,FERN等)对模板物体提取特征点,并记录或者学习这些特征点。当摄像头扫描周围场景,会提取周围场景的特征点并与记录的模板物体的特征点进行比对,如果扫描到的特征点和模板特征点匹配数量超过阈值,则认为扫描到该模板,然后根据对应的特征点坐标估计Tm矩阵,之后再根据Tm进行图形绘制(方法与Marker-Based AR类似)。
 
LBS-Based AR
其基本原理是通过GPS获取用户的地理位置,然后从某些数据源(比如wiki,google)等处获取该位置附近物体(如周围的餐馆,银行,学校等)的POI信息,再通过移动设备的电子指南针和加速度传感器获取用户手持设备的方向和倾斜角度,通过这些信息建立目标物体在现实场景中的平面基准(相当于marker),之后坐标变换显示等的原理与Marker-Based AR类似。
 
这种AR技术利用设备的GPS功能及传感器来实现,摆脱了应用对Marker的依赖,用户体验方面要比Marker-Based AR更好,而且由于不用实时识别Marker姿态和计算特征点,性能方面也好于Marker-Based AR和Marker-Less AR,因此对比Marker-Based AR和Marker-Less AR,LBS-Based AR可以更好的应用到移动设备上。
 
 
 
关注与非网微信 ( ee-focus )
限量版产业观察、行业动态、技术大餐每日推荐
享受快时代的精品慢阅读
 

 

作者简介
与非网 小编
与非网 小编

电子行业垂直媒体--与非网小编一枚,愿从海量行业资讯中淘得几粒金沙,与你分享!

继续阅读
5G将会让CDMA走向消亡?

随着5G标准的正式出炉,5G相关产品也将在下半年开始与消费者见面,相关预测显示,5G将会让CDMA走向消亡,用户使用流量也将大幅攀升,不过用户的使用行为变化不大。那么,5G的杀手锏业务又在哪里呢?

父亲节特别版︱半导体业内人士,快过来认爹啦!

今天是父亲节,祝各位为人父、准爸爸、计划当爹的、喜当爹的节日快乐。

苹果AR“软硬”兼施能否重燃激情

2016年、2017年,VR/AR盛极一时,成为市场关注的焦点,热钱蜂拥而入。这其中,除了PE/VC等投资机构,还有康得新、暴风集团等众多上市公司。但在人工智能、区块链等新风口的冲击下,极度烧钱、技术门槛高、缺乏应用场景的VR/AR项目迎来洗牌。

重塑现实:肖特发布高折射率AR光学晶圆

国际科技集团肖特(SCHOTT AG)昨日在上海历史博物馆举行了创新圆桌会议,向来自知名媒体的二十多名记者介绍了SCHOTT Realview™,一款突破性的高折射率光学晶圆。

一头扎进AR大潮,Adobe有啥突破式方法

?今年的苹果WWDC发布会结束后不少人很失望,原以为会见到很多令人期待的硬件产品,没想到自始至终大家都是自嗨,整场发布会聚焦在软件更新。

更多资讯
你与OPPO Find X也是久别重逢?
你与OPPO Find X也是久别重逢?

谁也没有想到,OPPO简单一句“Hi,久等了”却有着如此强大的魔力,能够引起相当多消费者内心的共鸣。对于手机厂商而言,产品线产品的增替只是一件稀疏平常的事情,但是这一次非比寻常,且相当多的用户将其称之为:多年未见得老友重逢。

爱回收淘到了二手手机的第一桶金
爱回收淘到了二手手机的第一桶金

这家二手电子回收平台计划在线下部署上万台专门针对手机产品的自动回收机,用户可以在屏幕上选择自己手机的具体型号、使用时间等信息,并在接受之后直接交给机器回收并在当场收到部分钱款,等于说是即卖即销,爱回收提前垫付了这台二手手机卖出去之后的回款。

惠普进军3D打印市场,为何跟中国合作?
惠普进军3D打印市场,为何跟中国合作?

惠普最近与广东3D打印协作创新平台合作,在中国开设了一个新的3D打印中心。位于大理镇蓝湾的Intelligence-HP喷射融合技术生产中心,是惠普在亚洲部署的规模最大的一个生产级3D打印机中心。

OPPO Find X其实就是一个“滑盖”的手机

“它的动人之处在于‘隐’,当前后摄像头、听筒等熟悉的元器件因科技革新而消失的那一刻,生动的艺术之美便凸显取出来。亮屏瞬间,93.8%的屏占比让屏幕内容几乎充满了整个视野。”

小企业该如何借助云计算这股东风?

云计算技术的出现,给大企业造成了不小的影响,因为在他们有人力,更有财力,可以先于小企业尝试新鲜技术。那么云计算对小企业有哪些影响?

Moore8直播课堂
电路方案