基于人眼特性的分区时分复用3D视网膜投影显示

作者：韦子超楼益民胡娟梅吴锋民来源：《光子学报》日期：2022-08-18人气：1412

为解决近眼显示产品存在的3D实体感不强、晕眩、易视觉疲劳等问题，研发人员开始探索将全息^［1］、光场显示^［2］和视网膜投影显示^［3］等技术应用于近眼显示，用以改善视觉效果、提升使用舒适度。其中视网膜投影显示技术因其具有方案简单、结构紧凑、易于集成等优点而备受瞩目。

视网膜投影显示技术基于麦克斯韦视图原理^［4］，通过直接在人眼视网膜上投影清晰的图像来避免调焦模糊。可以有效缓解辐辏调焦矛盾（Vergence Accommodation Conflict， VAC）问题^［5］。传统视网膜投影显示系统的出瞳直径仅为一个像点的大小，系统可获得极大的景深^［6］，但存在着出瞳面积小、无法提供准确的深度信息、计算量较大等问题。

针对以上问题，YUUKI A等设计了一种结合蝇眼透镜和小孔阵列的显示方案^［7］，将实验系统的出瞳面积提高到24 mm×24 mm，但是光效和分辨率较低。之后KIM S B等用全息光学元件（Holographic Optical Elements，HOE）将显示系统的出瞳面积扩大至9 mm×3 mm^［8］。HEDILI M K等利用光源阵列和低延迟动态瞳孔跟踪装置将出瞳面积扩大到14 mm×10 mm^［9］。CHAN C等构建了一种无透镜的多视点显示系统^［10］，出瞳面积为3 mm×3 mm，但是系统计算量较大。SHI X等提出了一种虚拟视点倍增技术^［11］，利用HOE和偏振光栅产生了12 mm的水平出瞳区域。TAKAHASHI H等利用HOE和视差图为观察者提供了单眼调焦深度信息^［12］，但是无法提供平滑的运动视差和正确的调焦刺激。随后JANG C等提出了一种瞳孔跟踪光场显示系统^［13］，但是存在图像丢失的问题。UENO T等设计了一种全视差近眼显示系统^［14］，可在人眼调节范围内提供单眼调焦深度信息，但是只能单色显示。2020年，他们又提出了一种近似密集视点的显示方法^［15］，改善了系统的景深和分辨率。NVIDIA设计了一种实用的中央凹渲染系统^［16］，降低了渲染成本和计算时间，但无法实现3D显示。JU Y J等结合计算全息和麦克斯韦视图技术提出了一种分区域显示的方案^［17］，在减少了数据量的同时消除了VAC，但是显示效果受到全息技术的限制。HUA J等提出了一种变信息密度裸眼3D显示技术，利用人眼的中央凹特性降低了信息冗余^［18］，但是尚未能用于近眼显示。

在上述工作的基础上，本文提出了一种基于分区时分复用的3D视网膜投影显示技术，利用人眼特性将虚拟场景分为边缘背景区域和中心注视区域，对中心注视区域采用时分复用的密集视网膜投影显示技术，实现具有单眼调焦响应的真3D显示，同时增大出瞳面积。对边缘背景区域则采用短焦目镜和液晶显示屏实现大视角显示。最后，利用半透半反镜实现边缘和中心区域的图像融合，实现了宽视角的双目彩色真三维视网膜投影显示。

1 分区时分复用的3D视网膜投影显示原理

1.1　密集视点视网膜投影系统的单眼调焦深度信息重建原理

为观察者构造密集视点是实现3D显示的重要技术方案。密集视点视网膜投影显示系统通过空间、角度或者时间复用技术在系统的出瞳处形成多个视点，在扩大系统出瞳的同时为每个视点输入正确的视差图像信息^［19］，当视点间隔小于人眼瞳孔直径时，观察者即可获得单眼调焦深度信息，从而实现3D视网膜投影显示。密集视点的3D视网膜投影系统的成像过程示意图如图1所示。假设系统在眼睛瞳孔平面处形成三个视点，分别与三个视差图像相对应，远处的3D像点F由视差图像上的F₁、F₂、F₃三个像素合成，近处的3D像点N由对应图像上的N₁、N₂、N₃三个像素合成。如图1（a），当单眼调焦深度A位于点F所在深度平面Z_F时，F₁、F₂、F₃三个像素对应的光线将汇聚在视网膜平面上形成一个清晰的像点。而像素N₁、N₂和N₃对应的光线在视网膜后方重合，所以近处的像点N会在视网膜上形成一个模糊的图像。同理，A位于点N所在深度平面Z_N时，如图1（b）所示，像素N₁、N₂和N₃对应的光线在视网膜上形成一个聚焦的像点，而远处的物点F在视网膜前聚焦，在视网膜上形成一个模糊的图像。所以，密集视点的3D视网膜投影显示技术可为观察者提供单眼调焦深度信息。

图1 密集视点视网膜投影系统的成像过程

Fig. 1 The imaging processes of the retinal projection system with dense viewpoints

如图1（a）所示，将显示屏所在平面Z₀作为参考平面。在密集视点3D视网膜投影系统的成像模型中，同一物点发出的不同方向的光线将分别依次穿过显示平面上不同的像素点和瞳孔平面上不同的视点，这些不同方向的光线被眼睛聚焦后形成像点。对像点F或者N点来说，其成像位置由相似三角形可推出，即

（1）

式中，d为视差图像上同一物点对应像素的间距，v为视点间距，Z为像点深度，Z_pupil为瞳孔平面深度。对于给定的系统，参数Z_pupil、v、Z₀一定，所以像点深度Z是关于d的函数，即可以通过调制参数d重建不同深度位置的图像。

1.2　分区时分复用的3D视网膜投影显示系统

人眼在观察景物时，光信号从眼睛传入大脑神经形成视觉形象，需经过一段短暂的时间。同样，光的作用结束后，视觉形象并不立即消失，也需经过一段时间后才消失，这一现象被称为“视觉暂留”。时分复用技术利用人眼的视觉暂留特性，采用大于人眼时间分辨率的频率对图像组进行高频显示，可以让人眼感受到多幅图像信息叠加的效果，所以可利用视觉暂留形成3D效果。人眼的单眼视角可达150°以上，但是只有投射到中央凹区域的图像才能够被精确分辨，而外围区域的图像分辨率明显降低。人眼的这种特性在实现高分辨率聚焦的同时有利于压缩冗余的周边数据。通常情况下中央凹区域的视角约为5°，中央凹区域外又分为有效视域和诱导视域。有效视域一般小于30°，超过30°则是诱导视域，也称为余光区域。中央凹区域也是对深度信息最敏感的区域。根据上述特性，提出了分区时分复用的3D视网膜投影显示系统，在中心注视区域采用3D视网膜投影显示技术，实现具有单眼调焦深度信息的真3D显示。对边缘背景区域采用短焦目镜和液晶显示器件实现大视角显示。

图2为所提出的分区时分复用的3D视网膜投影显示系统示意图。该系统由三个子系统构成，分别为：①采用3D视网膜投影技术的中心注视区域显示子系统（绿色虚线框区域）、②边缘背景区域显示子系统（红色虚线框区域）、③光源阵列子系统（蓝色虚线框区域）。光源阵列子系统由三色发光二极管（Light Emitting Diode，LED）阵列和准直透镜构成。LED阵列发出的光束通过准直透镜后形成平行光束，进入中心注视区域显示子系统。

图2 实验系统成像光路示意图

Fig. 2 Schematic diagram of the imaging light path of the experimental system

中心注视区域显示子系统包括：全内反射（Total Internal Reflection， TIR）棱镜、高刷新率数字微镜器件（Digital Micro mirror Device，DMD）显示器、分束器（Beam splitte）、反射镜（Reflector）、目镜（Eyepiece）。光源阵列（LED array）子系统发出的平行光通过TIR棱镜耦合后照明DMD显示屏，光线通过DMD反射后透过TIR棱镜，被分束器分为左右两部分，分别对应左右两个观察通道。左/右通道的光线通过反射镜和目镜1后在左/右眼瞳孔附近形成多个视点。DMD显示屏位于目镜1的一倍焦距以内，其显示区域分为左右两部分，分别通过左右通道的目镜1形成虚像。LED阵列、DMD与控制系统连接。控制系统按照时序控制DMD刷新显示，同时控制LED阵列中的点光源按照相同的时序依次同步照明。DMD刷新的图像为各个视角对应的视图，这些视图与点光源的照明角度对应的视角相匹配。形成利用时分复用技术投影的多视角图像。当系统控制时序的频率足够高时，利用人眼的视觉暂留效应即可在出瞳处形成密集视点的观察窗口，实现3D视网膜投影显示。

该子系统的DMD屏幕和目镜1之间的距离（物距）s=s₁+s₂+s₃。目镜1到DMD的虚拟图像的距离（像距）为s′=（1/f₁-1/s）^-1。由于DMD需要同时显示左眼和右眼图像，左眼使用的半块DMD显示区域的宽度用w表示，虚拟图像尺寸为W=w f₁/（f₁-s）。中心区域横向最大视场角FOV₁=2arctan（w/f₁）。LED阵列中LED的间隔为V，子系统产生的视点的间隔为v，其大小为v=V f₁ / f₂。DMD的帧速率为F_DMD，视点的数量为n，系统显示的3D图像的帧速率为F_3D=F_DMD/n。

边缘背景显示子系统由液晶显示器（Liquid Crystal Display，LCD）、目镜2和作为光学合成器（Optical combiner）的半透半反射镜构成。其中目镜2为短焦目镜，用于获得大的边缘视角。LCD位于目镜2的一倍焦距以内，目镜2的光轴和出瞳通过半透半反镜后与目镜1的光轴和出瞳重合。边缘背景显示区域的半径约等于目镜2的半径r，从而背景区域的视场角FOV₂=2arctan（r/f₃）。人眼可以通过重合的出瞳同时看到中心注视区域的3D图像和边缘背景区域的广角图像信息。这种分区域显示的方法可以在保证人眼视觉中心区域获得精确3D显示的同时，获得大视角的边缘信息，从而优化显示效果，降低计算负载。

2 实验验证

2.1　实验系统实物图

为验证技术方案的可行性搭建了分区域时分复用的3D视网膜投影显示系统。由于左右观察通道的对称性，图3以左眼观察通道为例展示了实验系统实物。系统的光源阵列由间距V=3.0 mm的4×4的彩色LED阵列构成，每个LED由红绿蓝三个发光区组成，发光面积为1.5 mm²。准直透镜的焦距为f₂=130 mm。中心注视区域显示系统中，DMD的帧速率设定为F_DMD=4 800 Hz，分辨率为1 920×1 080，像素大小为10.8 μm，屏幕尺寸为20.7 mm×11.7 mm。目镜1的焦距为f₁=90 mm。DMD与目镜1之间的物距为79.6 mm，即s=s₁+s₂+s₃=79.6 mm。DMD的虚像和目镜1的距离为s′= 685 mm。中心注视区域的横向视场角为FOV₁=7.41°。视点的间隔为v＝2.0 mm。出瞳面积为7 mm×7 mm。由于系统分时复用产生16个视点的信息，且每个视点包含红绿蓝三色子图，所以当DMD帧频设置为4 800 Hz时，中心注视区域3D图像的帧速率为F_3D= 100 Hz，在利用人眼时间暂留效应的同时，可以有效避免图像闪烁的问题。为确保照明和显示的严格同步，使用计算机软件对基于FPGA的DMD和基于单片机的LED阵列进行协调控制。边缘背景区域显示系统中，目镜2的焦距为f₃=63 mm，透镜半径r=20 mm。LCD的分辨率为2 560×1 440，像素大小为47.3 μm，屏幕尺寸为68.0 mm×121.0 mm。边缘背景区域的视场角FOV₂=32°。半透半反射镜的厚度为1.1 mm，其中一面镀增透膜，一面镀半透半反射膜，以最大限度减小重影。通过半透半反镜将目镜1和目镜2的光轴和出瞳精确重合形成系统出瞳，在系统出瞳处即可看到显示效果。

图3 实验系统实物图

Fig. 3 Photo of the experimental system

2.2　实验结果与分析

2.2.1　中心注视区域的3D显示效果

为验证中心注视区域的3D显示效果，首先使用3dsMax或Blender等商业软件建模获得两个位于不同深度的模型，其中红色汽车中心位于（-7，-5，101）坐标、紫色茶壶中心位于（21，0，131）坐标。然后利用4×4个虚拟相机渲染16个不同视角的视差图像。相机矩阵的中心坐标为（0，-3，0）。该视差图像的视点方位和分布与显示系统的实际视点方位和分布一致。再将16个视差图像分色，二值化形成图像序列。上位机软件将图像序列输入DMD内存，并控制DMD按照时序显示图像序列，同时协调LED阵列进行同步照明。图4即是相机聚焦在不同深度位置时拍摄的成像效果。图4（a）显示当相机聚焦在近处的小车上时小车清晰，远处的茶壶因离焦而模糊。图4（b）显示当相机聚焦在远处的茶壶上时茶壶清晰，近处的小车因离焦而模糊。由此可以证明本系统实现了具有单眼调焦深度信息的真3D视网膜投影显示。

图4 中心注视区域不同深度模型的成像效果

Fig. 4 Imaging results of different depth models in central gaze area

为了实现精确的深度显示，设计实验对计算机中设定的深度值和实际显示的深度位置进行了标定^［20］。首先将相机聚焦在虚拟图像上，然后挪动标定板使虚拟图像和标定板图像同时清晰，由此测量出虚拟图像的实际深度。实验效果如图5所示，图5（a）聚焦在字母NEAR处，其设定的虚拟深度为90 mm，距离相机镜头的实际深度为685 mm。图5（b）聚焦在字母FAR上，其设定的虚拟深度为215.5 mm，距离相机镜头的实际深度为2 000 mm。

图5 深度标定显示效果

Fig. 5 Display effects of depth calibration

图6为实际深度Z_a与虚拟深度Z的关系。通过数据分析拟合可得，实际深度和虚拟深度的关系为

图6 虚拟深度和重建图像的实际深度之间的关系

Fig. 6 Relationship of virtual depth and actual depth of the reconstructed images

（2）

由式（2）可知实际深度与虚拟深度符合线性关系，利用该函数关系可进行准确的深度重建。由于显示器的像素是离散的，视差图像上同一物点对应像素的间距变化并不连续，故而无法实现连续任意位置的深度重建。但是，随着显示技术的不断发展，像素尺寸会越来越小，会更利于模型的精确深度重建。

2.2.2　分区域显示效果

为验证分区显示效果，设计了如图7所示的场景：中心注视区域包括位于不同深度位置的四个立方体模型，其中模型a中心位于坐标（-7.4，3.5，0）、模型b中心位于（6.7，3.5，10.5）、模型c中心位于（-12.3，-12.3，23.7）、模型d中心位于（6.6，-14.7，41.0）。四个模型对应的参数d分别为0 mm， 0.209 mm， 0.416 mm， 0.625 mm。场景中相机矩阵的中心坐标为（0，0，-90），焦平面位于示意图中XOY平面。

图7 用于显示的场景

Fig. 7 Scene to be displayed

中心注视区域采用与2.2.1节相同的方法进行显示。背景区域通过调节目镜2到LCD的距离为59 mm，将LCD的虚像设置在与模型c中心共面的平面Z_a=934 mm处。

图8是分区显示时相机聚焦在不同深度位置时拍摄的成像效果。图8（a）显示当相机聚焦在模型a时，聚焦位置处的模型a清晰，其他位置模型和背景因离焦而模糊。图8（b）显示当相机聚焦在模型b上时模型b清晰，其他模型和背景因离焦而模糊。图8（c）显示当相机聚焦在模型c时，模型c和与其共面的背景区域同时清晰，其他模型因离焦而模糊。图8（d）显示当相机聚焦在模型d时，模型d清晰，其他模型和背景因离焦而模糊。

图8 分区显示时聚焦在不同深度的图像（聚焦的模型用红框标出）

Fig. 8 Images focused on different depths in partition display mode， and the focused model has been marked with a red frame

上述实验验证了分区域显示的成像效果，中心区域采用3D视网膜投影成像技术获得了具有单眼调焦暗示的真3D显示，聚焦离焦效果明显。边缘区域利用LCD和短焦目镜实现了宽视角的显示，而且中心和边缘的图像融合较好。由于目镜2边缘像差影响，系统的总视角约为32°，可覆盖人眼的有效视域。对于边缘区域显示系统其显示深度Z_e为

（3）

式中，f₃为目镜2的焦距，通过控制短焦透镜到LCD的距离s₄，灵活设置背景区域深度Z_e。

表1展示了视场角相等时，传统3D和分区3D视网膜投影显示所需的计算量。传统技术需要计算16个视角的图像的全部像素，总彩色像素数为24.4×10⁶，其中包括DMD显示区域的15.8×10⁶和LCD显示区域的8.6×10⁶。分区3D视网膜投影显示所需的计算量，只需渲染一个16个视角图像的中心区域和一个边缘区域，总共需要计算的彩色像素数目为16.4×10⁶，其中包括DMD显示区域的15.8×10⁶和LCD显示区域的0.6×10⁶。所以相比于传统3D渲染技术，本文方法的计算量减小了33%。在以后的研究中可以进一步使用图像压缩算法减小计算量^［21］。

表1 分区域3D视网膜显示和传统3D视网膜显示数据量对比

Table 1 Comparison of pixel data between partitive 3D retina display and traditional 3D retina display

Data	Partitive 3D retina display	Traditional 3D retina display
DMD area pixel data	15.8×10⁶	15.8×10⁶
LCD area pixel data	0.6×10⁶	8.6×10⁶
Total pixel data	16.4×10⁶	24.4×10⁶

传统二维中央凹显示技术只有一个准确的深度平面，无法实现不同深度物体的聚焦和离焦效果。如图9（a）所示，传统中央凹显示技术的整个视野中的图像都发生相同的离焦模糊，而本实验系统可以实现一个视野中不同深度的图像具有不同的离焦模糊，如图9（b）所示，不同位置模型的清晰度不同。所以，相较于传统技术，本文所提出的显示技术可以为人眼提供有效的单眼聚焦深度暗示，从而有效缓解视觉疲劳。相较于全息中央凹显示技术，所提出的技术无需海量的复数运算和相干光照明，具有较好的成像质量，便于推广应用。

图9 传统二维中央凹技术显示的图像和本实验系统显示的图像效果对比示意图

Fig. 9 The comparison between the traditional two-dimensional foveated technology display effect and the proposed experimental system display effect

3 结论

本文基于人眼的视觉暂留效应和中央凹的视觉特性，利用分区时分复用技术实现了一种3D视网膜投影显示技术与系统。在中心注视区域，结合二维动态照明和高刷新率DMD等器件实现了具有单眼聚焦深度暗示信息的真3D显示，可以有效缓解视觉疲劳问题。在边缘背景区域，利用短焦目镜和高分辨率LCD实现了大视角的近眼显示。搭建了一套3D视网膜投影显示系统，系统出瞳面积为7 mm×7 mm、总视场角约为32°、3D刷新率为100 Hz，单眼渲染分辨率为16.4×10⁶。相对于传统多视角3D渲染技术计算量减小了33%。对系统深度的定标实验结果显示该实验系统可以提供正确的深度信息。同时中心区域的高分辨率图像和边缘的背景融合度较好。这种系统在提升近眼显示系统视觉体验的同时，减小了3D渲染所需的数据量，具有良好的应用前景。

关键字：优秀论文

上一篇：残差时间计数型InGaAs脉冲频率调制数字读出电路研究
下一篇：基于自由曲面的紧凑型离轴三反无焦系统设计