增强现实(Augmented Reality,简称AR),是指透过摄影机影像的位置及角度精算并加上图像分析技术,让屏幕上的虚拟世界能够与现实世界场景进行结合与交互的技术。

这个词语最早被前波音公司研究员 Tom Caudell在1990年所使用。商业增强现实体验最初是在娱乐和游戏业务中引入的,随着电子产品运算能力的提升,增强现实的用途也越来越广。

目前对于增强现实有两种通用的定义。一是北卡大学教授罗纳德·阿祖玛(RonaldAzuma)于1997年提出的,他认为增强现实包括三个方面的内容:

而另一种定义是1994年保罗·米尔格拉姆(Paul Milgram)和岸野文郎(Fumio Kishino)提出的现实-虚拟连续统(Milgrams Reality-Virtuality Continuum)。他们将真实环境和虚拟环境分别作为连续系统的两端,位于它们中间的被称为“混合实境”。其中靠近真实环境的是增强现实(Augmented Reality),靠近虚拟环境的则是扩增虚境。

增强现实的硬件组件包括:处理器、显示器、传感器和输入设备。像智能手机和平板电脑这样的现代移动计算设备就包含了这些元素,这些元素通常包括相机和微机电系统(MEMS)传感器,如加速计、GPS和固态罗盘,使它们适合于AR平台。在增强现实中使用了两种技术:衍射波导和反射波导。

增强现实在呈现上使用了各种技术,包括光学投影系统,监视器,手持式设备和显示系统。头戴式显示器(HMD)即头显,可能是AR/VR领域出现频率最高的词语,典型的头戴式显示器是一个护目镜或者头盔式的设备,HMD将物理世界和虚拟对象的图像放置在用户的视野上,可以实现虚拟现实(VR)、增强现实(AR)、混合现实(MR)等不同效果。

可以在类似于眼镜的设备上呈现增强现实场景。这些版本包括使用摄像头截取真实世界视图并通过目镜重新显示其增强视角的眼镜,以及通过眼镜镜片表面投射或反射AR图像的设备。

平视显示器(HUD)可显示数据而无需用户将视线从通常的视线移开。平视显示器是增强现实技术的先驱,最早是在20世纪50年代为飞行员开发的,它将简单的飞行数据投射到他们的视线中,从而使他们可以保持“抬头”,而不是低头看仪器。

显示AR成像的隐形眼镜正在开发中。这些仿生隐形眼镜可能包含嵌入镜片的显示元素,包括集成电路、led和用于无线通信的天线。第一个隐形眼镜显示在1999年由史蒂夫·曼申请专利,本打算与AR眼镜结合使用,但这个项目被放弃了,11年后的2010-2011年,[38][39]。另一种隐形眼镜是为美方开发的,其设计目的是与增强现实眼镜配合使用,使士兵能够同时在眼镜上聚焦近眼的增强现实图像和遥远的现实世界物体

在2013年消费电子展上,一家名为Innovega的公司也发布了类似的隐形眼镜,需要与增强现实眼镜结合才能工作。

MojoVision公司开发了首款不需要眼镜配合使用的AR隐形眼镜,并在2020年消费电子展上宣布并展示了这款隐形眼镜

虚拟视网膜显示器(VRD)是华盛顿大学人机界面技术实验室开发的一种个人显示设备。通过这项技术,显示器被直接扫描到观众的视网膜上。这将产生具有高分辨率和高对比度的明亮图像。观众看到的似乎是一个传统的显示器漂浮在太空中。

为了分析VRD的安全性,进行了几次测试。在一项测试中,选择部分视力丧失的患者——患有黄斑变性(一种视网膜退化的疾病)或圆锥角膜——使用该技术观看图像。在黄斑变性组中,8名受试者中有5名更喜欢VRD图像,认为VRD图像更好、更亮,可以看到相同或更好的分辨率。角膜圆锥病人在使用VRD的几次线测试中都能分辨出较小的线,而不是自己的矫正。他们还发现VRD图像更容易查看,也更清晰。经过这些测试,虚拟视网膜显示被认为是安全的技术。

虚拟视网膜显示创建的图像可以在环境日光和环境房间光中看到。VRD由于其高分辨率、高对比度和高亮度的组合而被认为是用于外科手术显示器的优选候选方案。其他试验表明,VRD作为一种显示技术在视力较低的患者中具有很高的应用潜力。

手持式显示器对用户来说更加便携。目前移动设备通常采用视频透视式来实现增强现实(AR)最初的手持AR采用基准标记、和后来的GPS单元和MEMS传感器,如数字罗盘和六自由度加速度陀螺仪。今天,同步定位和绘图(SLAM)无标记跟踪器,如PTAM(并行跟踪和绘图)开始投入使用。手持AR设备的两个主要优势是设备的便携性和拍照手机的普遍性。缺点是,用户必须始终将手持设备举在面前,同时,与通过眼睛观察的现实世界相比,广角摄像头的失真效果。

《PokémonGo》和《 Ingress》等游戏利用图像链接地图(ILM)界面,在该地图上,经批准的带有地理标记的位置会显示在程式化的地图上,以便用户与之交互。

现代移动增强现实系统使用以下一种或多种运动跟踪技术:数码相机和/或其他光学传感器,加速度计,GPS,陀螺仪,固态罗盘,射频识别(RFID)。这些技术提供了不同水平的精度和精确度。最重要的是用户头部的位置和方向。跟踪用户的手或手持输入设备可以提供6DOF交互技术。

由于移动设备,尤其是可穿戴设备的广泛采用,移动增强现实应用程序越来越受欢迎。但是,它们通常依赖于具有极高延迟要求的计算密集型计算机视觉算法。为了弥补计算能力的不足,通常需要将数据处理工作转移到远程机器上。计算分流在应用程序中引入了新的限制,特别是在延迟和带宽方面。尽管存在大量的实时多媒体传输协议,但也需要网络基础结构的支持。

这些技术包括将用户的口语转换为计算机指令的语音识别系统,以及通过视觉检测或从嵌入在外围设备(例如手写笔,手套或其他身体上的传感器)中的传感器来解释用户的身体运动的手势识别系统。

AR系统的关键指标是它们如何现实地将增强功能与现实世界集成在一起。该软件必须获得独立于相机和相机图像的真实世界坐标,这一过程称为图像配准,它使用不同的计算机视觉方法,主要与视频跟踪有关。许多增强现实的计算机视觉方法都继承自视觉里程计。augogram是用于创建一个AR计算机生成的图像。Augography是为AR制作造影图的科学和软件实践。

通常,这些方法由两部分组成。第一步是检测摄像机图像中的兴趣点,基准标记或光流。此步骤可以使用特征检测方法,例如角点检测,斑点检测,边缘检测或阈值检测以及其他图像处理方法。第二阶段从第一阶段中获得的数据还原现实世界的坐标系。一些方法假定场景中存在具有已知几何形状(或基准标记)的对象。在某些情况下,应事先计算场景3D结构。如果场景的一部分未知,则同时定位和地图绘制(SLAM)可以绘制相对位置。如果没有有关场景几何的信息,则使用来自运动方法的结构,例如束调整。第二阶段使用的数学方法包括:射影(对极)几何,几何代数,带指数图的旋转表示,卡尔曼和粒子滤波,非线性优化,稳健统计。

在增强现实中,在两种不同的跟踪模式(称为标记和无标记)之间进行了区分。标记是触发虚拟信息显示的视觉提示。可以使用具有某些不同几何形状的纸。摄像机通过识别图形中的特定点来识别几何形状。无标记跟踪,也称为即时跟踪,不使用标记。取而代之的是,用户优选在水平面内将对象在摄像机视图中定位。它使用移动设备中的传感器来准确检测现实环境,例如墙壁和交叉点的位置。

增强现实标记语言(ARML)是开放地理空间联盟(OGC)内开发的一种数据标准,由可扩展标记语言(XML)语法组成,用于描述场景中虚拟对象的位置和外观以及ECMAScript绑定允许动态访问虚拟对象的属性。

为了能够快速开发增强现实应用程序,出现了一些软件开发工具,例如SenseAR、ARkit等。

在基于计算机显示器的AR实现方案中,摄像机摄取的真实世界图像输入到计算机中,与计算机图形系统产生的虚拟景象合成,并输出到屏幕显示器,用户从屏幕上看到最终的增强场景图片。它虽然不能带给用户多少沉浸感,但却是一套最简单使用的AR实现方案。由于这套方案的硬件要求很低,因此被实验室中的AR系统研究者们大量采用。

头盔式显示器(Head-mounted displays-HMD)被广泛应用于虚拟现实系统中,用以增强用户的视觉沉浸感。增强现实技术的研究者们也采用了类似的显示技术,这就是在AR中广泛应用的穿透式HMD。根据具体实现原理又划分为两大类,分别是基于视频合成技术的穿透式HMD(video see-through HMD)和基于光学原理的穿透式HMD(optical see-through HMD)。

在上述的两套系统实现方案中,输入计算机中的有两个通道的信息,一个是计算机产生的虚拟信息通道,一个是来自于摄像机的真实场景通道。而在optical see-through HMD实现方案中去除了后者,真实场景的图像经过一定的减光处理后,直接进入人眼,虚拟通道的信息经投影反射后再进入人眼,两者以光学的方法进行合成。

三种AR显示技术实现策略在性能上各有利弊。在基于monitor-based和video see-through显示技术的AR实现中,都通过摄像机来获取真实场景的图像,在计算机中完成虚实图像的结合并输出。整个过程不可避免的存在一定的系统延迟,这是动态AR应用中虚实注册错误的一个主要产生原因。但这时由于用户的视觉完全在计算机的控制之下,这种系统延迟可以通过计算机内部虚实两个通道的协调配合来进行补偿。而基于optical see-through显示技术的AR实现中,真实场景的视频图像传送是实时的,不受计算机控制,因此不可能用控制视频显示速率的办法来补偿系统延迟。

另外,在基于monitor-based和video See-through显示技术的AR实现中,可以利用计算机分析输入的视频图像,从真实场景的图像信息中抽取跟踪信息(基准点或图像特征),从而辅助动态AR中虚实景象的注册过程。而基于optical see-through显示技术的AR实现中,可以用来辅助虚实注册的信息只有头盔上位置传感器。

在消费产品中实施增强现实需要考虑应用程序的设计以及技术平台的相关约束。由于AR系统严重依赖于用户的沉浸感以及用户与系统之间的交互,因此设计可以促进虚拟化的采用。对于大多数增强现实系统,可以遵循类似的设计准则。下面列出了设计增强现实应用程序时的一些注意事项:

情景设计侧重于最终用户的物理周围环境,空间和可访问性,这些在使用AR系统时可能会发挥作用。开发者应注意最终用户可能遇到的物理情况。通过评估每种物理情况,可以避免潜在的安全隐患,并且可以进行更改以进一步改善最终用户的沉浸感。UX设计人员将必须为相关的物理场景定义用户旅程,并定义界面对每种场景的反应。

特别是在增强现实系统中,至关重要的是还要考虑影响增强现实技术有效性的空间和周围元素。诸如灯光和声音之类的环境因素可能会阻止AR设备传感器检测到必要的数据,并破坏最终用户的沉浸感。

情景设计的另一个方面涉及系统功能的设计及其适应用户偏好的能力。虽然辅助功能工具在基本应用程序设计中很常见,但在设计限时提示(以防止意外操作),音频提示和总体参与时间时,应考虑一些注意事项。在某些情况下,应用程序的功能可能会妨碍用户的能力。例如,用于驾驶的应用程序应减少用户交互的数量,而应使用音频提示。

增强现实技术中的交互设计以用户与最终产品的互动为中心,以改善整体用户体验和娱乐性。交互设计的目的是通过组织呈现的信息来避免疏远或混淆用户。由于用户交互依赖于用户的输入,因此设计人员必须使系统控件更易于理解和访问。提高增强现实应用程序可用性的一项常用技术是在设备的触摸显示器中发现经常访问的区域,并设计应用程序以匹配这些控制区域。构建用户使用线路图和显示的信息流也很重要,这可以减少系统的总体认知负荷并极大地改善应用程序的学习曲线。

增强现实技术允许利用3D空间的引入。这意味着用户可以在单个AR应用程序中访问2D界面的多个副本。

为了改善图形界面元素和用户交互,开发人员可以使用视觉提示来通知用户设计了哪些UI元素与之交互以及如何与它们交互。由于在AR应用程序中导航对于入门用户比较比较难以理解,因此视觉提示设计可以使交互看起来更加自然。

在某些使用2D设备作为交互式表面的增强现实应用程序中,2D控制环境无法在3D空间中很好地转换,从而使用户不愿探索周围的环境。为解决此问题,设计人员应运用视觉提示来协助和鼓励用户探索周围的环境。

从游戏和娱乐到医学,教育和商业,增强现实已经在许多应用中得到了探索。下面描述的示例应用领域包括建筑,商业和教育等。

AR可以帮助可视化建筑项目。在建筑物上建造物理建筑物之前,可以将计算机生成的结构图像叠加到财产的真实局部视图中;Trimble Navigation在2004年公开证明了这一点。AR还可以在建筑师的工作空间中使用,以渲染其2D图纸的动画3D可视化效果。借助AR应用程序,可以增强建筑的视觉效果,允许用户查看建筑物的外部,以虚拟方式查看建筑物的墙壁,查看建筑物的内部对象和布局。

随着GPS精度的不断提高,企业可以使用增强现实技术使用移动设备来可视化建筑工地,地下结构,电缆和管道的地理参考模型。、增强现实技术可用于提出新项目,解决现场施工难题并增强宣传材料。示例包括Daqri智能头盔,这是一款Android驱动的安全帽,用于为工业工人创建增强现实,包括视觉指令,实时警报和3D映射。

AR系统已用作在构建环境中进行设计和规划的协作工具。例如,AR可用于创建投影到桌面上的增强现实地图,建筑物和数据源,以供建筑环境专业人员进行协作查看。Outdoor AR承诺可以将设计和计划叠加在现实世界中,重新定义了这些专业的职责,以将原位设计纳入其流程。设计选项可以在现场进行表达,比2D地图和3D模型之类的传统桌面机制更接近现实。

在教育环境中,AR已用于补充标准课程。文字,图形,视频和音频可以叠加到学生的实时环境中。教科书,抽认卡和其他教育性阅读材料可能包含嵌入的“标记”或触发器,当被AR设备扫描时,它们会为以多媒体格式呈现的学生提供补充信息。

随着AR的发展,学生可以进行互动参与,并与真实知识进行互动。学生可以成为主动的学习者,而不是被动的接受者,能够与他们的学习环境进行互动。通过计算机生成的历史事件模拟,学生可以探索和学习事件现场每个重要区域的详细信息。

在高等教育中,Studierstube系统Construct3D使学生能够学习机械工程概念,数学或几何。化学AR应用程序允许学生使用手持在手中的标记物可视化分子的空间结构并与之交互。其他人使用免费的应用程序HP Reveal来创建用于研究有机化学机制的AR记录卡,或创建有关如何使用实验室仪器的虚拟演示。解剖学学生可以在三个维度上可视化的不同系统。使用AR作为学习解剖结构的工具已被证明可以增加学习者的知识并提供内在的好处,例如增加参与度和学习者的沉浸感。

AR使机器维护效率更高,因为它使操作员可以直接访问机器的维护历史记录。虚拟手册可帮助制造商适应快速变化的产品设计,因为与纸质手册相比,数字指令更易于编辑和分发

数字指令消除了操作员在远离工作区的地方看屏幕或手册的需要,从而提高了操作员的安全性。通过向操作员提供有关机器状态和安全功能以及工作区危险区域的其他信息,使用AR可以提高操作员在高负荷工业机械附近工作时的安全感。

AR用于整合印刷和视频营销。可以使用某些“触发”图像来设计印刷的营销材料,当这些图像由具有AR功能的设备使用图像识别功能进行扫描时,就会激活促销材料的视频版本。增强现实与简单图像识别之间的主要区别在于,可以同时在视图屏幕中叠加多个媒体,例如社交媒体共享按钮,页面内视频甚至音频和3D对象。

作者 admin