​​​​您好,欢迎来到频谱科学 !
服务热线:185 021 93480
新闻中心
新闻中心
虚实融合裸眼3D显示现状与展望
来源: | 作者:苏州大学光电科学与工程学院 | 发布时间: 2022-11-07 | 890 次浏览 | 分享到:
摘要
增强现实(AR)显示是新型显示技术的一个重要发展方向,也是“元宇宙”的硬件入口之一。裸眼AR-3D显示在车载、教育、医疗等领域具有广泛的应用需求,因此受到学者和产业专家的密切关注。回顾了裸眼AR-3D显示技术,主要包括基于几何光学元件、全息光学元件、像素化衍射光学元件等AR-3D显示技术的发展现状,阐述了不同技术的基本原理,分析了现有技术存在的挑战,并对其未来的发展进行了展望。裸眼AR-3D显示将逐步改变人们的信息获取方式。
Abstract
Augmented reality (AR) display is a significant development direction of new display technology and one of the hardware entrances of the "meta-universe". Glasses-free AR-3D display has a broad range of application needs in vehicles, education, medical and other fields; therefore, it has gained close attention from scholars and industry experts. This study reviews the development of glasses-free AR-3D display technology, primarily including AR-3D display technology based on geometric optical elements, holographic optical elements, and pixelated diffractive optical elements, among others, expounds the basic principles of various technologies, analyzes the challenges of existing technologies, and anticipates its subsequent advancement. Glasses-free AR-3D display will gradually change the method people acquire information.


1 引言


人类通过眼、耳、鼻、舌、身、意等方式感知真实世界,其中超过50%1的信息是通过视觉获取的,因此显示技术是人类获取外界信息的主要途径。增强现实(AR)显示是一种将虚拟图像与真实场景相结合的新型显示技术。AR显示器可以将数字信息叠加至真实世界观察者的视角中,使二维(2D)或三维(3D)图像与真实世界无缝衔接,通过虚实融合相互补充和叠加,可以极大地增强人类对信息的感知,实现超越现实的感官体验。

随着“元宇宙”概念2的兴起,AR显示技术受到产业界和学术界的广泛关注3-4,并且有望应用于军事、医疗、教育、娱乐等领域,颠覆现有人机交互方式5。现有的大部分AR显示借助头盔或者眼镜等辅助设备,部分通过单目实现2D显示,例如Google glass和OPPO Air Glass,或是基于双目视差实现3D显示,如Hololens和Magic Leap。然而,由于长时间佩戴易产生疲劳和不适,许多使用者不习惯基于眼镜或头盔等辅助设备的显示方式。无需任何辅助设备的裸眼AR-3D显示技术引起了诸多科研工作者的广泛关注。

近年来,裸眼3D显示技术6-8得到了不断发展,包括全息3D显示9-10、体3D显示11、超多视点3D显示12-14、集成成像3D显示15-22、自由立体3D显示23-27等多种方案,并被引入增强现实显示领域之中28-29。然而,由于显示屏幕与观察者之间的空间关系不固定,实现裸眼AR-3D显示极具挑战性。如何将现有的裸眼3D显示技术方案与AR显示技术相结合,实现虚拟3D图像与真实物理场景的融合,已成为新型显示领域的研究热点之一。

目前,实现裸眼AR-3D显示的技术大致可以分成两种,基于几何光学的AR-3D显示和基于衍射光学的AR-3D显示:基于几何光学的裸眼AR-3D显示可分为离轴光学元件技术、自由曲面光学元件技术、稀疏反射膜阵列技术、双4f系统技术、微透镜阵列技术和针孔阵列技术;基于衍射光学的裸眼AR-3D显示可分为全息光学元件技术、全息显示技术和像素化衍射光学元件技术。本文简要概述各种裸眼AR-3D显示技术的基本原理和特点,还讨论了当前存在的挑战和机遇,并对裸眼AR-3D显示的研究前景进行了展望。


2 基于几何光学的裸眼AR-3D显示


对于AR-3D显示来说,虚实融合屏幕是最为重要的部件之一,具有将虚拟图像与真实场景叠加产生虚实融合效果的重要作用。基于几何光学的裸眼AR-3D显示通过半透半反镜、微透镜等传统几何光学元件实现虚实融合。采用几何光学元件实现AR-3D显示的技术主要可以分为离轴光学元件技术、自由曲面光学元件技术、稀疏反射膜阵列技术、双4f透镜阵列技术、微透镜阵列技术和针孔阵列技术。

离轴光学的裸眼AR-3D显示技术通常采用半透半反镜或分光镜作为将虚拟图像与真实物体叠加的虚实融合屏幕30-34。2012年,Hong等35提出一种集成成像悬浮3D显示方案来实现AR显示系统,该系统巧妙利用一个凸面半反射镜来实现虚拟3D图像与真实场景的融合。对于真实场景,该凸面半反射镜具有透明特性;而对于虚拟图像,该凸面半反射镜又具有与凹透镜相同的光学特性,从而减小了显示面板的有效像素间距,并扩展了3D图像的焦深范围。因此,该AR-3D显示系统可以提供具有适当调焦响应的3D图像。2018年,Rathinavel等36提出了一种基于体三维显示的AR-3D显示系统,如图1(a)、(b)所示。该系统由1个高速数字微镜设备(DMD)投影仪、1个可变焦透镜和1个半透半反镜组成,通过高速周期性改变透镜焦距,连续扫描来自DMD的280个同步二值图像序列,利用人眼的视觉暂留效应产生虚拟的3D图像,极大地扩展了成像的深度。

Research progress of AR-3D display system based on off-axis optical elements technology and free-form surface optical elements technology. (a) Schematic of AR-3D display based on off-axis optical elements [36]; (b) photos by AR-3D display based on off-axis optical elements [36]; (c) schematic of AR-3D head-up display based on free-form surface optical elements [41]; (d) photos by AR-3D head-up display based on free-form surface optical elements[41]

图 1. 基于离轴光学元件技术和自由曲面光学元件技术的AR-3D显示系统研究进展。(a)基于离轴光学元件的AR-3D显示工作原理图36;(b)基于离轴光学元件的AR-3D显示效果图36;(c)基于自由曲面光学元件的AR-3D抬头显示工作原理图41;(d)基于自由曲面光学元件的AR-3D抬头显示效果图41

Fig. 1. Research progress of AR-3D display system based on off-axis optical elements technology and free-form surface optical elements technology. (a) Schematic of AR-3D display based on off-axis optical elements [36]; (b) photos by AR-3D display based on off-axis optical elements [36]; (c) schematic of AR-3D head-up display based on free-form surface optical elements [41]; (d) photos by AR-3D head-up display based on free-form surface optical elements[41]

下载图片查看所有图片

基于离轴光学元件的AR-3D显示方案光路复杂,需要较多的光学元件,因此无法避免庞大的系统体积,无法满足当今系统轻薄化的趋势,另外这种方案还可能会引入像差问题。于是基于自由曲面光学元件的AR-3D显示方法被提出来消除像差的影响37-40。2020年,Lee等41提出了一种用于车载的3D抬头显示系统,如图1(c)、(d)所示。该系统由1个图像生成单元(包含1块带有柱透镜阵列的LCD面板和1套LED驱动的背光模组)和2个离轴自由曲面反射镜构成,图像生成单元产生虚拟3D图像经反射镜和挡风玻璃反射进入人眼,同时真实场景透过挡风玻璃进入人眼,实现了虚拟图像和真实场景融合的效果。此外,该系统还引入了人眼追踪系统,随着观察者位置变化实时刷新投影图像的位置,实验中展示了与模拟结果相匹配的低串扰、高分辨率3D显示效果,其视场角为10°×5°。

自由曲面光学元件具有较高的几何自由度,可以减少整个系统的光学元件数量和器件尺寸,实现更加紧凑的系统设计。此外,自由曲面技术可以减小图像的失真与畸变,降低像差对显示效果的不利影响,但自由曲面元件通常较厚。如何实现轻薄化、并扩大视场角,解决其视角受限难题,是该技术的重要挑战。

为了减小整体系统的厚度,Ma等42于2022年设计了一种基于稀疏反射膜阵列(SRA)的AR-3D显示系统,如图2(a)、(b)所示,该系统仅由LED显示屏和周期性SRA组成,每个LED阵列与反射膜一一对应,并且在前方放置像素掩模阵列来分离左右眼接收到的光线,LED发出的前向传输的光线被像素遮罩阻挡,后向传播的光线被SRA反射进入人眼产生3D图像,同时人眼可以通过周期性稀疏排布的SRA直接观察真实场景,实现虚实融合。该系统结构简单,与传统基于视差屏障的显示器相比有更高的透光率并且能够实现更薄的厚度。

Research progress of AR-3D display system based on sparse reflective membrane array technology and double 4f lens array technology. (a) Structure diagram of AR-3D display based on sparse reflective membrane array[42]; (b) photos by AR-3D display based on sparse reflective membrane array[42]; (c) structure diagram of elementary imaging system based on double 4f lens array system[43]; (d) schematic diagram of experimental system based on double 4f lens array system[8]; (e) superposition of 3D image on real object by experimental system[8]

图 2. 基于稀疏反射膜阵列技术和双4f透镜阵列技术的AR-3D显示系统研究进展。(a)基于稀疏反射膜阵列的AR-3D显示系统结构图42;(b)基于稀疏反射膜阵列的AR-3D显示效果图42;(c)基于双4f透镜阵列的元素图像系统结构图8;(d)基于双4f透镜阵列的实验系统工作原理图8;(e)3D图像与真实物体融合的实验效果图8

Fig. 2. Research progress of AR-3D display system based on sparse reflective membrane array technology and double 4f lens array technology. (a) Structure diagram of AR-3D display based on sparse reflective membrane array[42]; (b) photos by AR-3D display based on sparse reflective membrane array[42]; (c) structure diagram of elementary imaging system based on double 4f lens array system[43]; (d) schematic diagram of experimental system based on double 4f lens array system[8]; (e) superposition of 3D image on real object by experimental system[8]

下载图片查看所有图片

2015年,Takaki等8提出了一种基于双4f透镜阵列系统的平板AR-3D显示器,如图2(c)、(d)、(e)所示,该系统采用了3组透镜阵列,透镜阵列中每一组相对的透镜单元都能组成一个4f系统。真实物体发出的光线经系统成实像,而透明显示面板与最后一组透镜阵列构成集成成像单元产生3D图像,由此实现了真实物体与虚拟图像的虚实融合。该系统技术可与平板显示相结合,有很大的适用性,但是由于引入了多个透镜阵列,像差和重影是其需要解决的一个问题。

此外,微透镜阵列技术43-48也被应用到裸眼AR-3D显示之中。Deng等49设计一种基于集成成像技术的可放大AR-3D显示系统,该系统由集成成像显示单元、1块凸透镜和1块半透半反镜构成。凸透镜可以放大3D图像,再通过节距缩放和深度缩放的方法分析并消除放大后图像的横向与纵向畸变,正确地将放大后的虚拟图像与真实场景进行融合,实现了高几何保真度的AR-3D显示。传统的微透镜阵列技术采用固定焦距的微透镜阵列,因此系统的焦深(DOF)范围有限。为了扩展成像的深度,Shen等50提出了一种基于电压调控的变焦距透镜阵列AR-3D显示,如图3(a)、(b)、(c)所示,该系统在微透镜阵列和微图像阵列之间加入可变焦透镜,通过调节透镜焦距可以使微图像阵列经微透镜阵列成像在不同深度的平面,从而扩大成像深度。进一步地,Shin等51采用一种变焦距液体透镜阵列,扩展基于集成成像的光场显示焦深范围,如图3(d)、(e)、(f)所示,通过在液体透镜中引入固体透镜构造出复合透镜阵列,提高了透镜阵列的折射率和填充因子,将其应用于AR显示系统,实现了不受深度范围限制的高分辨率AR-3D显示。

Research progress of AR-3D display system based on microlens array technology. (a) Schematic of electrically-focus-tunable-lens-based AR-3D display experiment[50]; (b) (c) photos by electrically-focus-tunable-lens-based AR-3D display[50]; (d) schematic of vari-focal-liquid-lens-array-based AR-3D display[51]; (e) photos by AR-3D display when camera focusing on 30 cm[51]; (f) photos by AR-3D display when camera focusing on 50 cm[51]

图 3. 基于微透镜阵列技术的AR-3D显示系统研究进展。(a)基于电压调控的变焦距透镜AR-3D显示实验原理图50;(b)(c)基于电压调控的变焦距透镜AR-3D显示实验效果图50;(d)基于变焦距液体透镜阵列的AR-3D显示光学装置图51;(e)相机焦距为30 cm时,采集的AR-3D显示实验图51;(f)相机焦距为50 cm时,采集的AR-3D显示实验图51

Fig. 3. Research progress of AR-3D display system based on microlens array technology. (a) Schematic of electrically-focus-tunable-lens-based AR-3D display experiment[50]; (b) (c) photos by electrically-focus-tunable-lens-based AR-3D display[50]; (d) schematic of vari-focal-liquid-lens-array-based AR-3D display[51]; (e) photos by AR-3D display when camera focusing on 30 cm[51]; (f) photos by AR-3D display when camera focusing on 50 cm[51]

下载图片查看所有图片

基于微透镜阵列技术的AR-3D显示成像原理简单、亮度高、结构紧凑,易与现今的平板显示系统集成,具有真彩色、全视差、动态显示的诸多优点,是现今实现光学透射式AR-3D显示的优良方案。然而,由于微透镜元件本身的限制,此类AR-3D显示技术在像差、自重复像、深度翻转等方面仍存在挑战。此外,由于平板显示的数据量有限,其视场角、分辨率和3D景深相互制约,影响了所呈现的虚拟3D图像实际效果。

以上几种裸眼AR-3D显示技术都采用光学透射原理,即人眼直接透过虚实融合屏幕接收到真实物体。此外,基于针孔阵列的光学反射式裸眼AR-3D显示技术也相继被提出。

2019年,Li等52提出了一种基于针孔阵列技术的裸眼AR-3D显示系统,其原理如图4(a)、(b)所示。该系统采用镜面针孔阵列代替了传统集成成像的透镜阵列,完成虚拟物体的记录与再现。与此同时,真实物体通过镜面形成镜像,这就实现了虚拟图像和真实物体的融合。系统结构简单,易于实现大尺寸显示。然而,由于采用了针孔阵列,显示图像的分辨率和亮度直接与针孔的数量和孔径大小挂钩,如需增加分辨率,则需要增加针孔的数量,从而需要采用更高分辨率的2D显示屏。

Research progress of AR-3D display system based on pinhole array technology and reflective polarizer technology. (a) Schematic diagram of reflection-type glasses-free AR-3D display based on pinhole array technology[52]; (b) photos by reflection-type glasses-free AR display based on pinhole array technology[52]; (c) schematic diagram of reflection-type glasses-free AR-3D display based on a reflective polarizer[53]; (d) photos by reflection-type glasses-free AR-3D display based on a reflective polarizer[53]

图 4. 基于针孔阵列技术和反射偏振片技术的AR-3D显示系统研究进展。(a)基于针孔阵列技术的反射式裸眼AR-3D显示工作原理图52;(b)基于针孔阵列技术的反射式裸眼AR-3D显示实验效果图52;(c)基于反射偏振片的反射式裸眼AR-3D显示工作原理图53;(d)基于反射偏振片的反射式裸眼AR-3D显示实验效果图53

Fig. 4. Research progress of AR-3D display system based on pinhole array technology and reflective polarizer technology. (a) Schematic diagram of reflection-type glasses-free AR-3D display based on pinhole array technology[52]; (b) photos by reflection-type glasses-free AR display based on pinhole array technology[52]; (c) schematic diagram of reflection-type glasses-free AR-3D display based on a reflective polarizer[53]; (d) photos by reflection-type glasses-free AR-3D display based on a reflective polarizer[53]

下载图片查看所有图片

为了解决图像分辨率与显示亮度受限的问题,Li等53于2021年利用反射偏振器、吸收偏振器、透镜阵列和一块2D显示屏,既实现了虚拟物体的无光损失高清晰度成像,又实现了真实场景的完美反射成像,其原理如图4(c)、(d)所示。真实物体发出的光线通过反射偏振器时,偏振方向与透射轴正交的部分光被反射,而与透射轴平行的部分光则透射进入人眼;2D显示屏发出的光线经吸收偏振器后,产生与反射偏振器透射轴方向一致的偏振光,再经透镜阵列调制,形成3D图像,这样就完成了虚拟图像与真实物体的融合。该系统在提高了分辨率和亮度的同时,还具有结构紧凑的优点,厚度仅为3.5 mm,在车载AR显示和口腔医学等领域具有广泛的前景。

对于上述光学反射式裸眼AR-3D显示而言,由于采用反射面作为虚实融合屏幕,因此真实物体的位置与人眼位置必须在系统的同一侧,通过真实物体的镜像与产生的虚拟图像相叠加来产生虚实融合效果,观察者无法直接观察实际场景,与人眼的生理习惯相左,因此限制了其应用范围。

综上所述,基于几何光学元件的裸眼AR-3D显示系统通常需要采用半透半反镜或反射镜来作为虚实融合屏幕,系统轻薄化是其研究难点之一。此外,此类方案可供观看的视场通常较小,探索如何在扩大成像深度的同时实现大视场、高分辨率成像是其未来研究的重点之一。同时由于系统中通常加入了透镜,不可避免地引入了像差问题。虽然引入自由曲面技术对其进行校正和优化,使系统更加紧凑,但是这也无形之中增加成本和系统组装难度,不利于实现量产。


3 基于衍射光学的裸眼AR-3D显示


与几何光学依赖弯曲的表面折射或反射光线不同,衍射光学仅需要微纳米厚的薄层就能实现光场的自由调控。近年来,基于衍射光学的裸眼3D显示或AR显示已经展现了一定优势。典型的基于衍射光学的方法包括基于波前记录的全息光学元件(HOE)、全息技术和基于光刻的衍射光学元件。


3.1 全息光学元件技术


基于全息光学元件的裸眼AR-3D显示采用高透过率的全息材料来记录和再现光场的振幅和相位信息。HOE具有高透过率,高衍射效率和厚度薄等诸多优点,是实现裸眼AR-3D显示的一种优良方案54-60

2016年,Li等61提出了一种基于多功能全息光学元件的AR-3D显示系统,该系统利用体全息图的角度复用技术,分别叠加记录反射镜和透镜两种不同物光波,使得到的HOE同时具有反射镜和透镜的光学功能,从而简化了光学系统,结合反射式空间光调制器,以此实现虚实融合功能。2019年,Deng等62设计了一种基于柱透镜阵列全息光学元件(LLA-HOE)的裸眼AR-3D显示,如图5(a)、(b)所示,通过一维集成成像原理,其3D图像的分辨率提高至70×768。此外,该系统还具有高衍射效率、高透过率和轻薄的特点。为了实现全彩成像,2014年,Hong等63通过波长复用技术,提出了基于HOE的全彩AR-3D显示器,在所有波长下都实现了高透射率。2020年,Zhang等64提出了一种2D/3D可转换AR-3D显示器,该系统由透镜阵列全息光学元件、聚合物分散液晶(PDLC)薄膜和投影仪组成,通过控制PDLC上施加的电压,可以实现散射和透明模式的切换。

Research progress of AR-3D display system based on holographic optical element technology. (a) Schematic diagram of glasses-free AR-3D display using a lenticular lens array holographic optical element[62]; (b) experimental results of glasses-free AR-3D display using a lenticular lens array holographic optical element[62]; (c) schematic diagram of glasses-free AR-3D display based on a pixelated volume holographic optical element[65]; (d) experimental results of glasses-free AR-3D display based on a pixelated volume holographic optical element[65]

图 5. 基于全息光学元件技术的AR-3D显示系统研究进展。(a)利用柱透镜阵列全息元件的裸眼AR-3D显示原理示意图62;(b)利用柱透镜阵列全息元件的裸眼AR-3D显示实验结果62;(c)基于像素化体全息光学元件的裸眼AR-3D显示原理示意图65;(d)基于像素化体全息光学元件的裸眼AR-3D显示效果图65

Fig. 5. Research progress of AR-3D display system based on holographic optical element technology. (a) Schematic diagram of glasses-free AR-3D display using a lenticular lens array holographic optical element[62]; (b) experimental results of glasses-free AR-3D display using a lenticular lens array holographic optical element[62]; (c) schematic diagram of glasses-free AR-3D display based on a pixelated volume holographic optical element[65]; (d) experimental results of glasses-free AR-3D display based on a pixelated volume holographic optical element[65]

下载图片查看所有图片

2022年,Lu等65提出了一种基于像素化体全息光学元件的裸眼AR-3D显示系统,如图5(c)、(d)所示,该系统仅由像素化体全息透镜阵列与激光投影仪组成,通过将多个具有不同水平焦点位置的灰度衍射透镜拼接组合到一起,实现了对出射光场的逐像素调控,使灰度衍射透镜能够产生多个会聚视点,然后再利用自主研发的灰度光刻设备实现制备。利用多视点灰度衍射透镜代替全息记录中的聚焦透镜,可实现像素化体全息光学元件的制备,其衍射效率达到78.59%,具有高透射率、高光效和无重复视图的特点。此外,像素化体全息透镜阵列具有与透明玻璃接近的光学透过率和透明度,能够很好地实现虚拟图像与真实物体的虚实融合效果。该系统仅由2个组件组成,简单、可靠且高效,未来还可以通过空间复用实现全色裸眼AR-3D显示,具有广泛的应用前景。


3.2 全息显示技术


传统的全息重建是通过光敏材料实现的。然而,感光材料不能进行反复记录和擦除,并且基于光敏材料的全息显示系统很容易受到振动的影响。随着计算机技术的快速发展,计算全息(CGH)技术应运而生,全息图现在可以通过算法计算获得,并通过空间光调制器(SLM)显示计算全息图66-70。与传统的全息技术相比,CGH有3个优点:首先,全息图是由计算机产生的,而不是由物光和参考光在光敏材料中干涉产生的,可以有效避免由于实验环境和操作失误对全息图质量产生的不利影响;其次,与光学全息图相比,CGH更容易复制;最后,CGH可以记录三维建模软件中(如Auto CAD、SolidWorks等)的虚拟场景信息。如今,基于CGH的AR设备受到了越来越多的关注71-74

CGH技术是可以将三维物体的波面信息完整地记录下来并在特定光照条件下进行再现的三维显示技术,可以完整地重现记录物体的光场信息,被称为最理想的3D显示技术。2018年,Su等75提出了一种基于CGH技术的投影型双视图AR-3D显示器,如图6(a)、(b)、(c)所示,该显示器带有光栅导光板,可以同时再现2幅不同的三维图像,并通过光栅导光板将其精确地重新定向到2个完全分离的观察区域,重建的2个视图具有足够深度线索,有效解决了辐辏调节矛盾和视觉疲劳问题。2018年,Sun等76提出了一种用于全息AR显示系统的双会聚光Gerchberg-Saxton算法,该算法能够在产生180 cm缩放范围和连续深度线索的重建图像的同时,把系统中的噪声降低到相当低的水平。为了使系统更加紧凑,Mu等72于2020年提出一种基于随机分布镂空型CGH的全息AR显示,该系统引入部分全息图的概念,即全息设备上只有一部分区域具有全息条纹图案,而其余区域完全透明,从而提高了全息设备的透过率,CGH的总透过率为90.9%。此外,通过调节全息条纹的随机分布,可以优化全息图像的质量。随机分布镂空型CGH具有虚拟图像源和虚实融合屏幕的双重功能,在实现高透过率的同时,还能够显示清晰的全息图像。

Research progress of AR-3D display system based on holographic technology. (a) Schematic diagram of dual-view holographic AR-3D display based on CGH projection[75]; (b) (c) captured experimental images at viewing zone 1 when digital camera focused at 300 mmand 400 mm, respectively[75]; (d) schematic diagram of transparent holographic AR-3D display based on CGH[72]; (e) photos by transparent holographic AR-3D display based on CGH[72]

图 6. 基于全息技术的AR-3D显示系统研究进展。(a)基于CGH投影型双视图AR全息3D显示原理示意图75;(b)(c)当相机分别聚焦在300 mm和400 mm处时,采集到的视区1的实验图像75;(d)基于CGH透明AR全息3D显示原理示意图72;(e)基于CGH透明AR全息3D显示实验效果图72

Fig. 6. Research progress of AR-3D display system based on holographic technology. (a) Schematic diagram of dual-view holographic AR-3D display based on CGH projection[75]; (b) (c) captured experimental images at viewing zone 1 when digital camera focused at 300 mmand 400 mm, respectively[75]; (d) schematic diagram of transparent holographic AR-3D display based on CGH[72]; (e) photos by transparent holographic AR-3D display based on CGH[72]

下载图片查看所有图片

基于全息技术的AR-3D显示不仅能够实现更轻量化的设计、更优越的光学特性、更大的视场角及光利用率、更加舒适的观看体验,还可以结合现有的光源或显示器件,实现更紧凑、成本更低的AR-3D显示系统设计,满足商业化AR-3D显示的发展需求。因此,基于CGH的AR-3D显示越来越受到关注,然而目前的CGH还面临3个挑战:基于CGH的AR-3D显示设备容易受到散斑噪声的影响;现有的技术难以支持高质量实时CGH显示;SLM的空间带宽积(SBP)不足,导致重建图像的幅面和视场角较小。目前,已经提出了许多方法来减少散斑,例如相位计算和光线采样等。另外,为了提高图像的重建质量,不仅需要开发更加先进的算法,还需要开发新的系统、器件和材料来扩展空间带宽积56


3.3 像素化衍射光学元件技术


基于像素化衍射光学元件77-79的裸眼AR-3D显示是一种特殊的方法,通过精确计算逐像素地调制出射光场来生成多个视点,再将可实现3D显示的像素化衍射光学元件与图像源结合,可实现虚实融合的真3D显示效果。这种方案具有成像清晰、无畸变,器件轻薄,可实现大幅面制作等诸多优点,但采用这种方案实现裸眼AR-3D显示需要解决衍射效率低、彩色化等难题。

此外,当虚拟图像与自然景物融合时,正确的深度提示对于AR-3D显示尤为重要,为了产生正确的深度提示,Shi等80提出了一种由空间复用像素化纳米光栅组成的虚实融合屏幕,并搭建了32 inch(1 inch=2.54 cm)全彩色裸眼AR-3D显示样机,如图7(a)、(b)、(c)所示。每个视图的辐照度模式被设置为超高斯函数,有效地减少了串扰,同时,水平视场角达到47°。此外,通过空间复用堆叠3层像素化纳米光栅,实现正确的白平衡。整个AR-3D显示系统只包含2个组件:1个投影仪和1个基于像素化纳米光栅的虚实融合屏幕。在可见光谱中,透过率高于75%,但像素化纳米光栅的光效率相对较低(理论上为40%,实验上为12%)。

Research progress of AR-3D display system based on pixelated diffractive optical element technology. (a) Schematic diagram of glasses-free AR-3D display based on spatially multiplexed pixelated nanogratings[80]; (b) transmittance curves of holographic based on spatially multiplexed pixelated nanogratings[80] ; (c) photos by glasses-free AR-3D display based on spatially multiplexed pixelated nanogratings[80]; (d) schematic diagram of glasses-free AR-3D display based on pixelated multilevel blazed gratings[81]; (e) schematic diagram of viewpoints formed by pixelated multilevel blazed gratings in different focal planes[81]; (f) photos by glasses-free AR-3D display based on pixelated multilevel blazed gratings [81]

图 7. 基于像素化衍射光学元件技术的AR-3D显示系统研究进展。(a)基于空间复用像素化纳米光栅的裸眼AR-3D显示的原理示意图80;(b)基于空间复用像素化纳米光栅的裸眼AR-3D显示的全息合路器透射率分布曲线80;(c)基于空间复用像素化纳米光栅的裸眼AR-3D显示的实验效果图80;(d)基于像素化多台阶闪耀光栅的裸眼AR-3D显示的原理示意图81;(e)像素化多台阶闪耀光栅在不同焦平面上形成视点的示意图81;(f)基于像素化多台阶闪耀光栅的裸眼AR-3D显示的实验效果图81

Fig. 7. Research progress of AR-3D display system based on pixelated diffractive optical element technology. (a) Schematic diagram of glasses-free AR-3D display based on spatially multiplexed pixelated nanogratings[80]; (b) transmittance curves of holographic based on spatially multiplexed pixelated nanogratings[80] ; (c) photos by glasses-free AR-3D display based on spatially multiplexed pixelated nanogratings[80]; (d) schematic diagram of glasses-free AR-3D display based on pixelated multilevel blazed gratings[81]; (e) schematic diagram of viewpoints formed by pixelated multilevel blazed gratings in different focal planes[81]; (f) photos by glasses-free AR-3D display based on pixelated multilevel blazed gratings [81]

下载图片查看所有图片

为了提高光效率,Shi等81于2021年进一步提出了一种基于像素化多台阶闪耀光栅的裸眼AR-3D显示系统,如图7(d)、(e)、(f)所示,入射光通过多台阶闪耀光栅在不同焦平面形成多个衍射级,根据精确计算结果调制出射光场,在每个衍射级形成16个视点,再与4K投影仪结合,生成位于不同距离的多组水平视图,从而产生大范围的观察深度。该系统具有大幅面、高光效的特点,视距大于5 m,垂直视角为15.6°,不同视距的多组16个视图形成视角间距为1.5°的水平视差效果,所有视图的光效率提高到约53%,显示的3D场景具有平滑的运动视差和高亮度,同时与自然对象具有一致的遮挡效果。

基于像素化衍射光学元件的AR-3D显示核心思想是通过逐像素地调制出射光场,产生多个会聚视点,具有成像清晰、无畸变、器件轻薄,可实现大幅面制作等诸多优点,可以实现高质量、全彩色、真3D的虚实融合效果。这种逐像素调制的方法相对于传统光场调控方式有诸多优势:1)像素化衍射光学元件可以对光线进行大角度调控,易于实现连续的运动视差和扩大视场角;2)可以支持视点形状为点、线、面等多种形状自定义82,并且可以按照观察者的实际需要将视点排布成直线、曲线等任意样式,有助于克服现有显示面板分辨率不足的问题,解决分辨率和视场角之间的矛盾;3)可以通过几何变换将视点的光线分布由高斯分布转换为超高斯分布,有助于减小视点间的串扰和鬼影;4)可以通过视点的紧凑排列,在视点较少的情况下实现超多视点显示,解决辐辏调节矛盾问题83;5)像素化衍射光学元件体积小、质量轻,易于与当今的平板显示设备、移动电子设备集成。目前,像素化衍射光学元件存在衍射效率低、色差问题;另一方面,大尺寸微纳结构的制备也是一大问题。未来可引入多级衍射透镜、闪耀光栅等多台阶结构来提高光利用率,减小色差。随着微纳加工技术不断更新迭代,其制备难题也将逐步解决。像素化衍射光学元件赋予了出射光场更高的调控自由度,是实现裸眼AR-3D显示的优良方案。


4 结论及展望


随着可穿戴AR设备与裸眼3D显示技术的不断发展,无需佩戴任何辅助设备即可实现虚实融合3D显示效果的裸眼AR-3D显示吸引了众多研究者的关注,而如何将裸眼3D显示技术与现有的AR显示技术结合是未来新型显示技术的一个热门研究方向。本综述介绍了现有可实现裸眼AR-3D显示的多种方案并讨论了其各自的优缺点,如表1所示。

随着“元宇宙”概念的提出,裸眼AR-3D显示技术将会受到更多的关注。未来实现裸眼AR-3D显示的方案也将不断更新迭代,但是其发展不仅仅需要光学领域上的不断创新,更需要通信、网络、算法、芯片等诸多领域的有机结合、协同发展,才有可能实现技术变革。相信随着技术的不断进步,裸眼AR-3D显示必将走入人们的生活中。

表 1. 裸眼增强现实3D显示技术列表

Table 1. Glasses-free augmented reality 3D display technology list

Optical element typeClassificationSpatial resolutionFOVDisplay size
Geometric optical elementOff-axis1024 pixel×768 pixel[36]20.1°[35]
Free-form surface
10°×5°[41]
Reflection film array840 pixel×1200 pixel[42]
2100 mm×1500 mm[42]
4f
14.3°[8]152 mm×142 mm[8]
Micro-lens array1.5/2.63arcmins@30 cm/100 cm[51]27°×16°[51]16.32 mm×9.18 mm[50]
Pinhole array7.13 lp/mm[53]
5.8 inch[53]
Diffractive optical elementHOE70 pixel×768 pixel[62]9.85°[65]70 mm×70 mm[62]
Holographic display1920 pixel×1080 pixel[75]9.13°×9.13°[74]45 mm×45 mm[72]
Pixelated diffractive optical element960 pixel×540 pixel[80]47°[80]710.4 mm×399.6 mm[80]

查看所有表


ews Center

扫一扫

关注我们