1 引言
人类通过眼、耳、鼻、舌、身、意等方式感知真实世界,其中超过50%[1]的信息是通过视觉获取的,因此显示技术是人类获取外界信息的主要途径。增强现实(AR)显示是一种将虚拟图像与真实场景相结合的新型显示技术。AR显示器可以将数字信息叠加至真实世界观察者的视角中,使二维(2D)或三维(3D)图像与真实世界无缝衔接,通过虚实融合相互补充和叠加,可以极大地增强人类对信息的感知,实现超越现实的感官体验。
随着“元宇宙”概念[2]的兴起,AR显示技术受到产业界和学术界的广泛关注[3-4],并且有望应用于军事、医疗、教育、娱乐等领域,颠覆现有人机交互方式[5]。现有的大部分AR显示借助头盔或者眼镜等辅助设备,部分通过单目实现2D显示,例如Google glass和OPPO Air Glass,或是基于双目视差实现3D显示,如Hololens和Magic Leap。然而,由于长时间佩戴易产生疲劳和不适,许多使用者不习惯基于眼镜或头盔等辅助设备的显示方式。无需任何辅助设备的裸眼AR-3D显示技术引起了诸多科研工作者的广泛关注。
近年来,裸眼3D显示技术[6-8]得到了不断发展,包括全息3D显示[9-10]、体3D显示[11]、超多视点3D显示[12-14]、集成成像3D显示[15-22]、自由立体3D显示[23-27]等多种方案,并被引入增强现实显示领域之中[28-29]。然而,由于显示屏幕与观察者之间的空间关系不固定,实现裸眼AR-3D显示极具挑战性。如何将现有的裸眼3D显示技术方案与AR显示技术相结合,实现虚拟3D图像与真实物理场景的融合,已成为新型显示领域的研究热点之一。
目前,实现裸眼AR-3D显示的技术大致可以分成两种,基于几何光学的AR-3D显示和基于衍射光学的AR-3D显示:基于几何光学的裸眼AR-3D显示可分为离轴光学元件技术、自由曲面光学元件技术、稀疏反射膜阵列技术、双4f系统技术、微透镜阵列技术和针孔阵列技术;基于衍射光学的裸眼AR-3D显示可分为全息光学元件技术、全息显示技术和像素化衍射光学元件技术。本文简要概述各种裸眼AR-3D显示技术的基本原理和特点,还讨论了当前存在的挑战和机遇,并对裸眼AR-3D显示的研究前景进行了展望。
2 基于几何光学的裸眼AR-3D显示
对于AR-3D显示来说,虚实融合屏幕是最为重要的部件之一,具有将虚拟图像与真实场景叠加产生虚实融合效果的重要作用。基于几何光学的裸眼AR-3D显示通过半透半反镜、微透镜等传统几何光学元件实现虚实融合。采用几何光学元件实现AR-3D显示的技术主要可以分为离轴光学元件技术、自由曲面光学元件技术、稀疏反射膜阵列技术、双4f透镜阵列技术、微透镜阵列技术和针孔阵列技术。
离轴光学的裸眼AR-3D显示技术通常采用半透半反镜或分光镜作为将虚拟图像与真实物体叠加的虚实融合屏幕[30-34]。2012年,Hong等[35]提出一种集成成像悬浮3D显示方案来实现AR显示系统,该系统巧妙利用一个凸面半反射镜来实现虚拟3D图像与真实场景的融合。对于真实场景,该凸面半反射镜具有透明特性;而对于虚拟图像,该凸面半反射镜又具有与凹透镜相同的光学特性,从而减小了显示面板的有效像素间距,并扩展了3D图像的焦深范围。因此,该AR-3D显示系统可以提供具有适当调焦响应的3D图像。2018年,Rathinavel等[36]提出了一种基于体三维显示的AR-3D显示系统,如
![Research progress of AR-3D display system based on off-axis optical elements technology and free-form surface optical elements technology. (a) Schematic of AR-3D display based on off-axis optical elements [36]; (b) photos by AR-3D display based on off-axis optical elements [36]; (c) schematic of AR-3D head-up display based on free-form surface optical elements [41]; (d) photos by AR-3D head-up display based on free-form surface optical elements[41]](https://opticsjournal.net/richHtml/lop/2022/59/20/2011004/img_01.jpg)
图 1. 基于离轴光学元件技术和自由曲面光学元件技术的AR-3D显示系统研究进展。(a)基于离轴光学元件的AR-3D显示工作原理图[36];(b)基于离轴光学元件的AR-3D显示效果图[36];(c)基于自由曲面光学元件的AR-3D抬头显示工作原理图[41];(d)基于自由曲面光学元件的AR-3D抬头显示效果图[41]
Fig. 1. Research progress of AR-3D display system based on off-axis optical elements technology and free-form surface optical elements technology. (a) Schematic of AR-3D display based on off-axis optical elements [36 ]; (b) photos by AR-3D display based on off-axis optical elements [36 ]; (c) schematic of AR-3D head-up display based on free-form surface optical elements [41 ]; (d) photos by AR-3D head-up display based on free-form surface optical elements[41 ]
基于离轴光学元件的AR-3D显示方案光路复杂,需要较多的光学元件,因此无法避免庞大的系统体积,无法满足当今系统轻薄化的趋势,另外这种方案还可能会引入像差问题。于是基于自由曲面光学元件的AR-3D显示方法被提出来消除像差的影响[37-40]。2020年,Lee等[41]提出了一种用于车载的3D抬头显示系统,如
自由曲面光学元件具有较高的几何自由度,可以减少整个系统的光学元件数量和器件尺寸,实现更加紧凑的系统设计。此外,自由曲面技术可以减小图像的失真与畸变,降低像差对显示效果的不利影响,但自由曲面元件通常较厚。如何实现轻薄化、并扩大视场角,解决其视角受限难题,是该技术的重要挑战。
为了减小整体系统的厚度,Ma等[42]于2022年设计了一种基于稀疏反射膜阵列(SRA)的AR-3D显示系统,如
![Research progress of AR-3D display system based on sparse reflective membrane array technology and double 4f lens array technology. (a) Structure diagram of AR-3D display based on sparse reflective membrane array[42]; (b) photos by AR-3D display based on sparse reflective membrane array[42]; (c) structure diagram of elementary imaging system based on double 4f lens array system[43]; (d) schematic diagram of experimental system based on double 4f lens array system[8]; (e) superposition of 3D image on real object by experimental system[8]](https://opticsjournal.net/richHtml/lop/2022/59/20/2011004/img_02.jpg)
图 2. 基于稀疏反射膜阵列技术和双4f透镜阵列技术的AR-3D显示系统研究进展。(a)基于稀疏反射膜阵列的AR-3D显示系统结构图[42];(b)基于稀疏反射膜阵列的AR-3D显示效果图[42];(c)基于双4f透镜阵列的元素图像系统结构图[8];(d)基于双4f透镜阵列的实验系统工作原理图[8];(e)3D图像与真实物体融合的实验效果图[8]
Fig. 2. Research progress of AR-3D display system based on sparse reflective membrane array technology and double 4f lens array technology. (a) Structure diagram of AR-3D display based on sparse reflective membrane array[42 ]; (b) photos by AR-3D display based on sparse reflective membrane array[42 ]; (c) structure diagram of elementary imaging system based on double 4f lens array system[43 ]; (d) schematic diagram of experimental system based on double 4f lens array system[8 ]; (e) superposition of 3D image on real object by experimental system[8 ]
2015年,Takaki等[8]提出了一种基于双4f透镜阵列系统的平板AR-3D显示器,如
此外,微透镜阵列技术[43-48]也被应用到裸眼AR-3D显示之中。Deng等[49]设计一种基于集成成像技术的可放大AR-3D显示系统,该系统由集成成像显示单元、1块凸透镜和1块半透半反镜构成。凸透镜可以放大3D图像,再通过节距缩放和深度缩放的方法分析并消除放大后图像的横向与纵向畸变,正确地将放大后的虚拟图像与真实场景进行融合,实现了高几何保真度的AR-3D显示。传统的微透镜阵列技术采用固定焦距的微透镜阵列,因此系统的焦深(DOF)范围有限。为了扩展成像的深度,Shen等[50]提出了一种基于电压调控的变焦距透镜阵列AR-3D显示,如
![Research progress of AR-3D display system based on microlens array technology. (a) Schematic of electrically-focus-tunable-lens-based AR-3D display experiment[50]; (b) (c) photos by electrically-focus-tunable-lens-based AR-3D display[50]; (d) schematic of vari-focal-liquid-lens-array-based AR-3D display[51]; (e) photos by AR-3D display when camera focusing on 30 cm[51]; (f) photos by AR-3D display when camera focusing on 50 cm[51]](https://opticsjournal.net/richHtml/lop/2022/59/20/2011004/img_03.jpg)
图 3. 基于微透镜阵列技术的AR-3D显示系统研究进展。(a)基于电压调控的变焦距透镜AR-3D显示实验原理图[50];(b)(c)基于电压调控的变焦距透镜AR-3D显示实验效果图[50];(d)基于变焦距液体透镜阵列的AR-3D显示光学装置图[51];(e)相机焦距为30 cm时,采集的AR-3D显示实验图[51];(f)相机焦距为50 cm时,采集的AR-3D显示实验图[51]
Fig. 3. Research progress of AR-3D display system based on microlens array technology. (a) Schematic of electrically-focus-tunable-lens-based AR-3D display experiment[50 ]; (b) (c) photos by electrically-focus-tunable-lens-based AR-3D display[50 ]; (d) schematic of vari-focal-liquid-lens-array-based AR-3D display[51 ]; (e) photos by AR-3D display when camera focusing on 30 cm[51 ]; (f) photos by AR-3D display when camera focusing on 50 cm[51 ]
基于微透镜阵列技术的AR-3D显示成像原理简单、亮度高、结构紧凑,易与现今的平板显示系统集成,具有真彩色、全视差、动态显示的诸多优点,是现今实现光学透射式AR-3D显示的优良方案。然而,由于微透镜元件本身的限制,此类AR-3D显示技术在像差、自重复像、深度翻转等方面仍存在挑战。此外,由于平板显示的数据量有限,其视场角、分辨率和3D景深相互制约,影响了所呈现的虚拟3D图像实际效果。
以上几种裸眼AR-3D显示技术都采用光学透射原理,即人眼直接透过虚实融合屏幕接收到真实物体。此外,基于针孔阵列的光学反射式裸眼AR-3D显示技术也相继被提出。
2019年,Li等[52]提出了一种基于针孔阵列技术的裸眼AR-3D显示系统,其原理如
![Research progress of AR-3D display system based on pinhole array technology and reflective polarizer technology. (a) Schematic diagram of reflection-type glasses-free AR-3D display based on pinhole array technology[52]; (b) photos by reflection-type glasses-free AR display based on pinhole array technology[52]; (c) schematic diagram of reflection-type glasses-free AR-3D display based on a reflective polarizer[53]; (d) photos by reflection-type glasses-free AR-3D display based on a reflective polarizer[53]](https://opticsjournal.net/richHtml/lop/2022/59/20/2011004/img_04.jpg)
图 4. 基于针孔阵列技术和反射偏振片技术的AR-3D显示系统研究进展。(a)基于针孔阵列技术的反射式裸眼AR-3D显示工作原理图[52];(b)基于针孔阵列技术的反射式裸眼AR-3D显示实验效果图[52];(c)基于反射偏振片的反射式裸眼AR-3D显示工作原理图[53];(d)基于反射偏振片的反射式裸眼AR-3D显示实验效果图[53]
Fig. 4. Research progress of AR-3D display system based on pinhole array technology and reflective polarizer technology. (a) Schematic diagram of reflection-type glasses-free AR-3D display based on pinhole array technology[52 ]; (b) photos by reflection-type glasses-free AR display based on pinhole array technology[52 ]; (c) schematic diagram of reflection-type glasses-free AR-3D display based on a reflective polarizer[53 ]; (d) photos by reflection-type glasses-free AR-3D display based on a reflective polarizer[53 ]
为了解决图像分辨率与显示亮度受限的问题,Li等[53]于2021年利用反射偏振器、吸收偏振器、透镜阵列和一块2D显示屏,既实现了虚拟物体的无光损失高清晰度成像,又实现了真实场景的完美反射成像,其原理如
对于上述光学反射式裸眼AR-3D显示而言,由于采用反射面作为虚实融合屏幕,因此真实物体的位置与人眼位置必须在系统的同一侧,通过真实物体的镜像与产生的虚拟图像相叠加来产生虚实融合效果,观察者无法直接观察实际场景,与人眼的生理习惯相左,因此限制了其应用范围。
综上所述,基于几何光学元件的裸眼AR-3D显示系统通常需要采用半透半反镜或反射镜来作为虚实融合屏幕,系统轻薄化是其研究难点之一。此外,此类方案可供观看的视场通常较小,探索如何在扩大成像深度的同时实现大视场、高分辨率成像是其未来研究的重点之一。同时由于系统中通常加入了透镜,不可避免地引入了像差问题。虽然引入自由曲面技术对其进行校正和优化,使系统更加紧凑,但是这也无形之中增加成本和系统组装难度,不利于实现量产。
3 基于衍射光学的裸眼AR-3D显示
与几何光学依赖弯曲的表面折射或反射光线不同,衍射光学仅需要微纳米厚的薄层就能实现光场的自由调控。近年来,基于衍射光学的裸眼3D显示或AR显示已经展现了一定优势。典型的基于衍射光学的方法包括基于波前记录的全息光学元件(HOE)、全息技术和基于光刻的衍射光学元件。
3.1 全息光学元件技术
基于全息光学元件的裸眼AR-3D显示采用高透过率的全息材料来记录和再现光场的振幅和相位信息。HOE具有高透过率,高衍射效率和厚度薄等诸多优点,是实现裸眼AR-3D显示的一种优良方案[54-60]。
2016年,Li等[61]提出了一种基于多功能全息光学元件的AR-3D显示系统,该系统利用体全息图的角度复用技术,分别叠加记录反射镜和透镜两种不同物光波,使得到的HOE同时具有反射镜和透镜的光学功能,从而简化了光学系统,结合反射式空间光调制器,以此实现虚实融合功能。2019年,Deng等[62]设计了一种基于柱透镜阵列全息光学元件(LLA-HOE)的裸眼AR-3D显示,如
![Research progress of AR-3D display system based on holographic optical element technology. (a) Schematic diagram of glasses-free AR-3D display using a lenticular lens array holographic optical element[62]; (b) experimental results of glasses-free AR-3D display using a lenticular lens array holographic optical element[62]; (c) schematic diagram of glasses-free AR-3D display based on a pixelated volume holographic optical element[65]; (d) experimental results of glasses-free AR-3D display based on a pixelated volume holographic optical element[65]](https://opticsjournal.net/richHtml/lop/2022/59/20/2011004/img_05.jpg)
图 5. 基于全息光学元件技术的AR-3D显示系统研究进展。(a)利用柱透镜阵列全息元件的裸眼AR-3D显示原理示意图[62];(b)利用柱透镜阵列全息元件的裸眼AR-3D显示实验结果[62];(c)基于像素化体全息光学元件的裸眼AR-3D显示原理示意图[65];(d)基于像素化体全息光学元件的裸眼AR-3D显示效果图[65]
Fig. 5. Research progress of AR-3D display system based on holographic optical element technology. (a) Schematic diagram of glasses-free AR-3D display using a lenticular lens array holographic optical element[62 ]; (b) experimental results of glasses-free AR-3D display using a lenticular lens array holographic optical element[62 ]; (c) schematic diagram of glasses-free AR-3D display based on a pixelated volume holographic optical element[65 ]; (d) experimental results of glasses-free AR-3D display based on a pixelated volume holographic optical element[65 ]
2022年,Lu等[65]提出了一种基于像素化体全息光学元件的裸眼AR-3D显示系统,如
3.2 全息显示技术
传统的全息重建是通过光敏材料实现的。然而,感光材料不能进行反复记录和擦除,并且基于光敏材料的全息显示系统很容易受到振动的影响。随着计算机技术的快速发展,计算全息(CGH)技术应运而生,全息图现在可以通过算法计算获得,并通过空间光调制器(SLM)显示计算全息图[66-70]。与传统的全息技术相比,CGH有3个优点:首先,全息图是由计算机产生的,而不是由物光和参考光在光敏材料中干涉产生的,可以有效避免由于实验环境和操作失误对全息图质量产生的不利影响;其次,与光学全息图相比,CGH更容易复制;最后,CGH可以记录三维建模软件中(如Auto CAD、SolidWorks等)的虚拟场景信息。如今,基于CGH的AR设备受到了越来越多的关注[71-74]。
CGH技术是可以将三维物体的波面信息完整地记录下来并在特定光照条件下进行再现的三维显示技术,可以完整地重现记录物体的光场信息,被称为最理想的3D显示技术。2018年,Su等[75]提出了一种基于CGH技术的投影型双视图AR-3D显示器,如
![Research progress of AR-3D display system based on holographic technology. (a) Schematic diagram of dual-view holographic AR-3D display based on CGH projection[75]; (b) (c) captured experimental images at viewing zone 1 when digital camera focused at 300 mmand 400 mm, respectively[75]; (d) schematic diagram of transparent holographic AR-3D display based on CGH[72]; (e) photos by transparent holographic AR-3D display based on CGH[72]](https://opticsjournal.net/richHtml/lop/2022/59/20/2011004/img_06.jpg)
图 6. 基于全息技术的AR-3D显示系统研究进展。(a)基于CGH投影型双视图AR全息3D显示原理示意图[75];(b)(c)当相机分别聚焦在300 mm和400 mm处时,采集到的视区1的实验图像[75];(d)基于CGH透明AR全息3D显示原理示意图[72];(e)基于CGH透明AR全息3D显示实验效果图[72]
Fig. 6. Research progress of AR-3D display system based on holographic technology. (a) Schematic diagram of dual-view holographic AR-3D display based on CGH projection[75 ]; (b) (c) captured experimental images at viewing zone 1 when digital camera focused at 300 mmand 400 mm, respectively[75 ]; (d) schematic diagram of transparent holographic AR-3D display based on CGH[72 ]; (e) photos by transparent holographic AR-3D display based on CGH[72 ]
基于全息技术的AR-3D显示不仅能够实现更轻量化的设计、更优越的光学特性、更大的视场角及光利用率、更加舒适的观看体验,还可以结合现有的光源或显示器件,实现更紧凑、成本更低的AR-3D显示系统设计,满足商业化AR-3D显示的发展需求。因此,基于CGH的AR-3D显示越来越受到关注,然而目前的CGH还面临3个挑战:基于CGH的AR-3D显示设备容易受到散斑噪声的影响;现有的技术难以支持高质量实时CGH显示;SLM的空间带宽积(SBP)不足,导致重建图像的幅面和视场角较小。目前,已经提出了许多方法来减少散斑,例如相位计算和光线采样等。另外,为了提高图像的重建质量,不仅需要开发更加先进的算法,还需要开发新的系统、器件和材料来扩展空间带宽积[56]。
3.3 像素化衍射光学元件技术
基于像素化衍射光学元件[77-79]的裸眼AR-3D显示是一种特殊的方法,通过精确计算逐像素地调制出射光场来生成多个视点,再将可实现3D显示的像素化衍射光学元件与图像源结合,可实现虚实融合的真3D显示效果。这种方案具有成像清晰、无畸变,器件轻薄,可实现大幅面制作等诸多优点,但采用这种方案实现裸眼AR-3D显示需要解决衍射效率低、彩色化等难题。
此外,当虚拟图像与自然景物融合时,正确的深度提示对于AR-3D显示尤为重要,为了产生正确的深度提示,Shi等[80]提出了一种由空间复用像素化纳米光栅组成的虚实融合屏幕,并搭建了32 inch(1 inch=2.54 cm)全彩色裸眼AR-3D显示样机,如
![Research progress of AR-3D display system based on pixelated diffractive optical element technology. (a) Schematic diagram of glasses-free AR-3D display based on spatially multiplexed pixelated nanogratings[80]; (b) transmittance curves of holographic based on spatially multiplexed pixelated nanogratings[80] ; (c) photos by glasses-free AR-3D display based on spatially multiplexed pixelated nanogratings[80]; (d) schematic diagram of glasses-free AR-3D display based on pixelated multilevel blazed gratings[81]; (e) schematic diagram of viewpoints formed by pixelated multilevel blazed gratings in different focal planes[81]; (f) photos by glasses-free AR-3D display based on pixelated multilevel blazed gratings [81]](https://opticsjournal.net/richHtml/lop/2022/59/20/2011004/img_07.jpg)
图 7. 基于像素化衍射光学元件技术的AR-3D显示系统研究进展。(a)基于空间复用像素化纳米光栅的裸眼AR-3D显示的原理示意图[80];(b)基于空间复用像素化纳米光栅的裸眼AR-3D显示的全息合路器透射率分布曲线[80];(c)基于空间复用像素化纳米光栅的裸眼AR-3D显示的实验效果图[80];(d)基于像素化多台阶闪耀光栅的裸眼AR-3D显示的原理示意图[81];(e)像素化多台阶闪耀光栅在不同焦平面上形成视点的示意图[81];(f)基于像素化多台阶闪耀光栅的裸眼AR-3D显示的实验效果图[81]
Fig. 7. Research progress of AR-3D display system based on pixelated diffractive optical element technology. (a) Schematic diagram of glasses-free AR-3D display based on spatially multiplexed pixelated nanogratings[80 ]; (b) transmittance curves of holographic based on spatially multiplexed pixelated nanogratings[80 ] ; (c) photos by glasses-free AR-3D display based on spatially multiplexed pixelated nanogratings[80 ]; (d) schematic diagram of glasses-free AR-3D display based on pixelated multilevel blazed gratings[81 ]; (e) schematic diagram of viewpoints formed by pixelated multilevel blazed gratings in different focal planes[81 ]; (f) photos by glasses-free AR-3D display based on pixelated multilevel blazed gratings [81 ]
为了提高光效率,Shi等[81]于2021年进一步提出了一种基于像素化多台阶闪耀光栅的裸眼AR-3D显示系统,如
基于像素化衍射光学元件的AR-3D显示核心思想是通过逐像素地调制出射光场,产生多个会聚视点,具有成像清晰、无畸变、器件轻薄,可实现大幅面制作等诸多优点,可以实现高质量、全彩色、真3D的虚实融合效果。这种逐像素调制的方法相对于传统光场调控方式有诸多优势:1)像素化衍射光学元件可以对光线进行大角度调控,易于实现连续的运动视差和扩大视场角;2)可以支持视点形状为点、线、面等多种形状自定义[82],并且可以按照观察者的实际需要将视点排布成直线、曲线等任意样式,有助于克服现有显示面板分辨率不足的问题,解决分辨率和视场角之间的矛盾;3)可以通过几何变换将视点的光线分布由高斯分布转换为超高斯分布,有助于减小视点间的串扰和鬼影;4)可以通过视点的紧凑排列,在视点较少的情况下实现超多视点显示,解决辐辏调节矛盾问题[83];5)像素化衍射光学元件体积小、质量轻,易于与当今的平板显示设备、移动电子设备集成。目前,像素化衍射光学元件存在衍射效率低、色差问题;另一方面,大尺寸微纳结构的制备也是一大问题。未来可引入多级衍射透镜、闪耀光栅等多台阶结构来提高光利用率,减小色差。随着微纳加工技术不断更新迭代,其制备难题也将逐步解决。像素化衍射光学元件赋予了出射光场更高的调控自由度,是实现裸眼AR-3D显示的优良方案。
4 结论及展望
随着可穿戴AR设备与裸眼3D显示技术的不断发展,无需佩戴任何辅助设备即可实现虚实融合3D显示效果的裸眼AR-3D显示吸引了众多研究者的关注,而如何将裸眼3D显示技术与现有的AR显示技术结合是未来新型显示技术的一个热门研究方向。本综述介绍了现有可实现裸眼AR-3D显示的多种方案并讨论了其各自的优缺点,如
随着“元宇宙”概念的提出,裸眼AR-3D显示技术将会受到更多的关注。未来实现裸眼AR-3D显示的方案也将不断更新迭代,但是其发展不仅仅需要光学领域上的不断创新,更需要通信、网络、算法、芯片等诸多领域的有机结合、协同发展,才有可能实现技术变革。相信随着技术的不断进步,裸眼AR-3D显示必将走入人们的生活中。
表 1. 裸眼增强现实3D显示技术列表
Table 1. Glasses-free augmented reality 3D display technology list
|