AR技术原理剖析,一文读懂AR

2018-03-08 13:47:04 来源:传感器技术
标签:

用户对现实世界感知的新技术。一般认为,AR技术的出现源于虚拟现实技术(Virtual Reality,简称VR)的发展,但二者存在明显的差别。传统VR技术给予用户一种在虚拟世界中完全沉浸的效果,是另外创造一个世界;而AR技术则把计算机带入到用户的真实世界中,通过听、看、摸、闻虚拟信息,来增强对现实世界的感知,实现了从“人去适应机器”到技术“以人为本”的转变。

 
 
AR技术原理
AR从其技术手段和表现形式上,可以明确分为大约两类,一是Vision based AR,即基于计算机视觉的AR,二是LBS basedAR,即基于地理位置信息的AR。
 
Vision based AR
基于计算机视觉的AR是利用计算机视觉方法建立现实世界与屏幕之间的映射关系,使我们想要绘制的图形或是3D模型可以如同依附在现实物体上一般展现在屏幕上,如何做到这一点呢?本质上来讲就是要找到现实场景中的一个依附平面,然后再将这个3维场景下的平面映射到我们2维屏幕上,然后再在这个平面上绘制你想要展现的图形,从技术实现手段上可以分为2类:
 
1、 Marker-Based AR
这种实现方法需要一个事先制作好的Marker(例如:绘制着一定规格形状的模板卡片或者二维码),然后把Marker放到现实中的一个位置上,相当于确定了一个现实场景中的平面,然后通过摄像头对Marker进行识别和姿态评估(Pose Estimation),并确定其位置,然后将该Marker中心为原点的坐标系称为Marker Coordinates即模板坐标系,我们要做的事情实际上是要得到一个变换从而使模板坐标系和屏幕坐标系建立映射关系,这样我们根据这个变换在屏幕上画出的图形就可以达到该图形依附在Marker上的效果,理解其原理需要一点3D射影几何的知识,从模板坐标系变换到真实的屏幕坐标系需要先旋转平移到摄像机坐标系(Camera Coordinates)然后再从摄像机坐标系映射到屏幕坐标系。
 
 
在实际的编码中,所有这些变换都是一个矩阵,在线性代数中矩阵代表一个变换,对坐标进行矩阵左乘便是一个线性变换(对于平移这种非线性变换,可以采用齐次坐标来进行矩阵运算)。公式如下:
 
 
矩阵C的学名叫摄像机内参矩阵,矩阵Tm叫摄像机外参矩阵,其中内参矩阵是需要事先进行摄像机标定得到的,而外参矩阵是未知的,需要我们根据屏幕坐标(xc ,yc)和事先定义好的Marker 坐标系以及内参矩阵来估计Tm,然后绘制图形的时候根据Tm来绘制(初始估计的Tm不够精确,还需要使用非线性最小二乘进行迭代寻优),比如使用OpenGL绘制的时候就要在GL_MODELVIEW的模式下加载Tm矩阵来进行图形显示。
 
2、 Marker-Less AR
基本原理与Marker based AR相同,不过它可以用任何具有足够特征点的物体(例如:书的封面)作为平面基准,而不需要事先制作特殊的模板,摆脱了模板对AR应用的束缚。它的原理是通过一系列算法(如:SURF,ORB,FERN等)对模板物体提取特征点,并记录或者学习这些特征点。当摄像头扫描周围场景,会提取周围场景的特征点并与记录的模板物体的特征点进行比对,如果扫描到的特征点和模板特征点匹配数量超过阈值,则认为扫描到该模板,然后根据对应的特征点坐标估计Tm矩阵,之后再根据Tm进行图形绘制(方法与Marker-Based AR类似)。
 
LBS-Based AR
其基本原理是通过GPS获取用户的地理位置,然后从某些数据源(比如wiki,google)等处获取该位置附近物体(如周围的餐馆,银行,学校等)的POI信息,再通过移动设备的电子指南针和加速度传感器获取用户手持设备的方向和倾斜角度,通过这些信息建立目标物体在现实场景中的平面基准(相当于marker),之后坐标变换显示等的原理与Marker-Based AR类似。
 
这种AR技术利用设备的GPS功能及传感器来实现,摆脱了应用对Marker的依赖,用户体验方面要比Marker-Based AR更好,而且由于不用实时识别Marker姿态和计算特征点,性能方面也好于Marker-Based AR和Marker-Less AR,因此对比Marker-Based AR和Marker-Less AR,LBS-Based AR可以更好的应用到移动设备上。
 
 
 
关注与非网微信 ( ee-focus )
限量版产业观察、行业动态、技术大餐每日推荐
享受快时代的精品慢阅读
 

 

作者简介
与非网 小编
与非网 小编

电子行业垂直媒体--与非网小编一枚,愿从海量行业资讯中淘得几粒金沙,与你分享!

继续阅读
苹果电脑发展史,你了解苹果吗?
苹果电脑发展史,你了解苹果吗?

苹果发布会刚刚结束朋友圈和媒体就刷爆了屏幕,多少人熬着夜看发布会,却发出来自灵魂深处的吐槽,这是搞笑的吗?双卡双待?曲线屏?人脸检测?华为已经有的功能?值得我掏这么多钱?这还是我认识的那个苹果吗?一时间网友纷纷对苹果公司投来无数质疑的声音,更有甚者已经开始质疑苹果是否真的伟大。

量子计算时代将来临,最终谁能赢得这场比赛?
量子计算时代将来临,最终谁能赢得这场比赛?

长期以来量子计算机一直被吹捧为功能强大得令人难以置信的机器。相比于世界上现有的计算机,量子计算机能够以更快的速度解决极其复杂的计算问题。但目前还没有就开发量子计算机的最佳方式达成一致。最终谁将赢得这场比赛?

英特尔为啥叫停了VR/AR?

近日,有消息指出,英特尔已经宣布,停止Project Alloy项目,并放弃了2015年收购的AR眼镜品牌Recon。

比特大陆计划何时上市?
比特大陆计划何时上市?

据外媒报道,中国最大的比特币挖矿公司比特大陆计划在IPO前筹集最多10亿美元,尽管比特币价格下滑打击了该公司产品的需求和价格。

看房新玩法,VR看房引领时尚
看房新玩法,VR看房引领时尚

无需上门来回奔波,躺在床上就能找房、看房、租房,突破时间、空间、气候阻隔,随时随地VR看房。

更多资讯
iPhone XS和Max刚上市就出问题:屏幕故障、信号不佳

据外媒报道,iPhone XS及iPhone XS Max开售以来,除了少部分机型发生屏幕显示故障,还出现了手机信号及WiFi信号不佳的问题。目前,这些用户已经开始在苹果官方论坛、Reddit、MacRumors等论坛反馈该问题。

Mate 20 Pro/P20 Pro/iPhone XS/vivo X23/三星Note9拍照手机推荐,你选择哪款?
Mate 20 Pro/P20 Pro/iPhone XS/vivo X23/三星Note9拍照手机推荐,你选择哪款?

今年的小长假连着放,过完中秋又该过国庆了。相信大家都已规划好了出游的行程。愉快的行程如果没有好看的照片,总归有点不尽如人意。那今天与非网小编就给大家推荐几款高分拍照手机,让大家都能美美出行~

智能音箱时代,小鸟音响有怎样的突破?
智能音箱时代,小鸟音响有怎样的突破?

大概很多苹果粉都能在苹果线下体验店 Apple Store 里,见过 Libratone 小鸟音响这个丹麦品牌的音频产品。和 BOSE、JBL、Beats 等颇有气场的大牌在一起,它显得格外清新、纯净、温婉和特别。

IPC就美国对中国第三轮加征进口关税表示担忧

关于美国政府今年对中国第三轮商品清单加征约200亿美元进口关税的决定,IPC总裁& CEO John Mitchell博士发布如下声明。

抢占电竞显示器市场 不可不知的质量验证关键

电竞游戏市场前景看好,让周边硬件也快速发展,显示器即为最好例子。根据TrendForce旗下WitsView的报告指出,2017年电竞显示器的出货量约为250万台,年增长80%;2018年预计将再增加100万台,达到约370万台。

Moore8直播课堂
电路方案