英语原文共 17 页，剩余内容已隐藏，支付完成后下载完整资料
信号处理: 图像通信 70 (2019) 114–130
日志网页: www.elsevier.com/locate/image
数字全息视频显示系统的信号处理挑战
David Blinder a,b,lowast;, Ayyoub Ahar a,b, Stijn Bettens a,b, Tobias Birnbaum a,b, Athanasia Symeonidou a,b, Heidi Ottevaere c, Colas Schretter a,b, Peter Schelkens a,b a Dept. of Electronics and Informatics (ETRO), Vrije Universiteit Brussel (VUB), Pleinlaan 2, B-1050 Brussels, Belgium
b imec, Kapeldreef 75, B-3001 Leuven, Belgium
c Dept. of Applied Physics and Photonics, Brussels Photonics Team (B-PHOT),Vrije Universiteit Brussel (VUB), Pleinlaan 2, B-1050 Brussels, Belgium
文章 信息
MSC: 00-01 99-00
关键词:数字全息技术、计算机生产全息技术、全息的全息术、全息可视化 、全息成像、数据压缩、质量评估
摘要
全息术被认为是最终的显示技术，因为它可以解释所有的人类视觉线索，如立体视觉和眼睛聚焦. 除了建造全息显示器的硬件限制外，在全息信号处理方面还有许多研究挑战需要解决。在这篇综述中，我们描述了实现从数字内容获取到显示的端到端链所需的步骤，包括数字全息图的有效生成、表示、编码和质量评估. 我们讨论了目前的最先进技术，以及为实现动态全息内容的真实可视化铺平道路还需要克服哪些障碍。
1. 引言
全息术是一种可以记录和重建光的全波场的技术。它在1948年的发明归功于Denis Gabor，他最初开发了提高电子显微镜质量的技术 [1].当时，由于没有足够的相干光源，他不得不把所有的东西都安排在一个轴上，这就是今天所称的在线全息术。由于图像质量差，全息术仍然模糊不清.。20世纪60年代，随着激光和利斯和帕特涅克斯的离轴全息术[2]的发明，高质量的全息图成为可能.
然而，全息术仍然是纯粹的模拟，因为一切都必须记录在摄影胶片上. 这种情况在20世纪80年代后期发生了改变:随着空间光调制器(SLM)技术、电荷耦合器件(CCD)图像传感器和功能日益强大的计算机的出现，数字捕捉、处理和显示全息图终于成为可能。 数字全息术目前被用于各种用途，如显微术[3]、干涉术[4]、表面测量[5,6]、存储术[7]和三维(3D)显示系统[8]。在本文中，我们特别关注后者的实现。
3D显示可以实现深度感知，从而以三维的方式显示场景. 与传统的二维(2D)显示或立体显示(只提供单一或立体视图)相反，3D显示根据观看者的眼睛位置和凝视提供不同的视觉信息。该技术是娱乐、医药和工业中许多可视化应用的重要组成部分。
目前的3D显示解决方案，如基于光学光场的解决方案[9,10]，由于固有的局限性(如离散视图数量有限)，只能提供所需视觉线索的子集。相比之下，数字全息[11]被认为是最终的显示技术，因为它可以考虑所有的视觉线索，包括立体视觉、遮挡、非朗伯氏阴影和连续视差。 代表全光波阵面避免了眼的辐散调节冲突[12]。
然而，目前的全息显示器还不能提供可接受的视觉质量所需的分辨率和角度视场(FoV)，但这可能很快就会改变。尽管仍有重大的技术障碍需要克服，但在光子学、微电子学和计算机工程方面的稳步发展，已经带来了实现具有可接受的渲染质量的全视差数字全息显示的前景[13,14]。 极端需要的图像分辨率，与动态视频全息所需的视频帧速率相结合，可能会导致纯格式[15]的tb / s数据速率。
以往对全息显示系统的研究主要集中在硬件方面，即设计和开发相关的光学和电子技术。例如高带宽空间光调制器(SLM)和专用光学[16 - 18]。关于3D显示技术的最新发展，可以在最近的论文中找到详细的综述[8,14,19 - 21]
lowast; 对应作者: 电子及资讯学系(ETRO), 布鲁塞尔自由大学l (VUB), Pleinlaan 2, B-1050 Brussels, Belgium.
E-mail 地址: dblinder@etrovub.be (D. Blinder).
https://doi.org/10.1016/j.image.2018.09.014
Received 14 May 2018; Received in revised form 24 September 2018; Accepted 27 September 2018 Available online 4 October 2018
0923-5965/copy; 2018 The Authors. 由Elsevier B.V.出版. 这是一篇在CC BY license下的开放存取文章 (http://creativecommons.org/licenses/by/4.0/).
Fig. 1. 流水线总结了信号处理中需要解决的挑战，使高质量的全息显示系统成为可能
与硬件设计相比，人们较少关注的一个方面是如何处理潜在的巨大数据量，以实现高效的生成、存储和传输。 全息图的信号统计量与普通的自然图像和视频有很大的不同。 因此，传统的表示和编码算法，如编解码器的标准JPEG和MPEG族，都不是最优的。当使用计算机生成全息(CGH)技术生成合成全息内容时，所需要的算法与基于光线空间物理和光传输粒子模型的经典合成图像渲染所需要的算法有很大的不同。实际上，全息术遵循的是基于相干光的波传输模型。
本文综述了实现全息视频系统从源信号产生到显示所面临的信号处理挑战。我们识别硬件和软件方面的挑战，并收集一组重要的研究目标来解决它们。需要采取的步骤如图1所示;设计一个统一的全息视频显示系统需要一种全局综合的方法。
本文件的内容安排如下:
bull; 数字全息显示系统目前在设计上还很不成熟，而且是异质的，因此还没有一个既定的标准来规定如何向显示系统提供全息数据。因此，有一个足够通用的信号处理框架是很重要的，它允许跨显示系统兼容(见第2节)。
bull; 以高分辨率记录数字全息图是很困难的。这些收购不仅需要专门的光学设备，还需要专门的技术来建造和运营。此外，可以记录的对象的大小是有限的(见第3节)。
bull; 计算机生成全息图(CGH)比传统的图像渲染需要更多的算:场景中的每个点都可能影响到全息图的每个像素。这种多对多的关系加上巨大的全息图分辨率，用蛮力计算是非常昂贵的(见第4节)。
bull; 数字全息图需要新的转换和编码技术。 由于传统的变换和表示方法与全息信号的统计特性不匹配，所以它们的表现并不理想。标准的编解码器，如JPEG和MPEG，都是专为自然摄影和视频设计的，但在全息内容上运行很差;新的变换和运动估计和补偿技术需要集成(见第5节)。
bull; 为全息内容建模感知视觉质量需要准确的模型进行主观质量评估。这些指标将被用于引导全息图管道的其他组件(CGH、编码器/解码器、显示器)，以优化整体体验质量(见第6节)。
重要的是要理解，上面概述的所有挑战都因大的计算负载和与实现相关的内存/信令带宽而进一步复杂化 全视差、宽视角动态数字全息显示系统[22]。在深入挖掘全息物理学(第3节)之前，我们首先讨论全息显示的高级特性，以更好地定位显示前处理全息信号的模块所面临的挑战。
- 全息显示器
目前，大多数商业上可用的3D显示器都是立体的:两种不同的2D图像被提供给观察者，每只眼睛一个(见图2(a))。这可以通过自动立体显示或专用眼镜来实现，例如被动眼镜(浮雕、偏光)、主动眼镜(百叶窗)或头戴式显示器(HMD)。然而，3D效果仍然有限，因为没有考虑到人类视觉系统的一些线索。长时间佩戴会导致眼睛疲劳和恶心。在观看过程中，眼睛的趋近和适应之间的不匹配导致“趋近-适应冲突”，导致不适，见图3。
三维感知所需的重要线索[19,23]可分为两类: 单眼和双眼。
单眼提示：
bull; 调节——通过肌肉的张力来调节眼睛的焦距;
bull; 运动视差——物体相对于眼睛位置的观测相对速度;
bull; 遮挡——表示由于观测到的部分重叠，物体与观察者之间的
相对距离;
bull; 着色-提供关于物体形状和三维位置的视觉信息。
双眼提示:
bull; 辐散——眼睛注视方向之间的角度差异作为观看深度的函数;
bull; 立体视觉-从两眼视网膜上的投影图像之间的对应出现。
Fig. 2. 不同的3D显示类型: (a) 立体显示, (b) 多视图或光场显示， (c) 全息显示
Fig. 3. 趋同-迁就冲突的例证。趋同-迁就冲突的例证。在(a)中，例如在全息显示器中，调节和发散总是匹配的。 在(b)中，例如在立体显示器中，调节受到固定焦距的限制，从而产生不匹配。
许多类型的3D显示技术都试图以不同程度的效能更好地处理重要线索。 3D显示有多种形式，如体积显示[24]和多焦点显示[25,26]。其中最流行的是多视图(或光场)显示。 他们通过将2D视图数量从两个增加到更多来推广立体方法(图2(b))。 这些显示器[27,28]将光场离散成多个方向发射的许多视图。
由于当前在屏幕分辨率方面的物理限制，因此在一次可以显示多少视图上，这将降低观看体验。主要的明显缺陷是运动视差的逐级变化和调节-收敛不匹配。此外，通常只支持水平视差。
多视图显示以多种形式出现，包括360◦桌面[28]和HMDs[29-31]。 但必须指出的是，在原则上，未来的光场显示能够展示足够高的空间和角度分辨率，从而实现超多视角原理[32,33]:当角度采样间距足够小，从同一屏幕点发出的多条光线进入观众的瞳孔，从而减轻上述缺陷时，就会发生这种情况。尽管如此，光束大小决定了最大空间分辨率和角度分辨率之间的平衡，这在全息[34]中是不存在的。
然而，全息显示器有希望解释所有视觉提示。I原理:它们能把虚拟物体和真实物体区分开来。 但是，要实现高质量的全息显示系统，还面临着许多软件和硬件方面的挑战。
Fig. 4. 有关全息显示器的尺寸、像素间距、观看角度和分辨率的说明。 这个图假设屏幕比例为16:9，波长为460nm(蓝光)。这些图形说明了从1到40英寸的显示对角线的参数是如何相关的。绿色区域大致显示了HMD、移动电话、平板电脑和桌面屏幕尺寸的全息显示器的期望性能。
2.1全息显示器的类型
我们将专注于基于动态数字像素的全息显示器，也被称为“电子全息显示器”。 与印刷或模拟胶片全息图相反，它们可以以视频速率进行电子更新。关于全息显示和替代品的进一步指导可以在道奇森[35]的介绍性论文、最近的总结[34]或详细的评论[20]中找到。
最早的数字全息显示器之一是由麻省理工学院媒体实验室[36]开发的。 它利用大量声光调制器来产生连续的仅为水平视差的线全息图，以减少带宽。从那时起，电子全息显示器出现了许多形状和尺寸，在分辨率、视场和图像大小上差别很大。 今天的SLM市场由液晶芯片(LCOS)和微机电系统(MEMS)元件[17]主导。
虽然一个真正的全息显示器应该同时调制波前的振幅和相位，但在单个设备中实现全复杂调制仍然很难，但[37]存在一些例子。 大多数slm可以调制[17]的振幅或相位。 由于纯相SLMs具有衍射效率高的优点，理论上可以达到100%的衍射效率，因此通常采用后者。 对于图像质量来说，全息图的相位分量一般也比振幅分量更重要。
目前市面上销售的SLMs分辨率通常高达1920 times; 1080(全高清)或3840 times; 2160 (4K超高清)，这些分辨率还达不到大尺寸、全视差逼真显示器所需的分辨率:根据屏幕尺寸和观看角度的要求，所需的分辨率可以超过1012像素/帧。 此外，商业解决方案的像素间距目前仅限于大约。4 mu;m, cf. Fig. 4; 像素间距是两个相邻像素中心之间的距离。更多详情见第2.3节。因此，工程师需要充分利用可用的带宽。这导致了几种类型的全息显示器，我们可以将其分为三组(见图5和图6)。 下面三个部分分别描述了它们.
Fig. 5. 不同类型的全息显示器: (a) 头戴全息显示， (b) 外置单用户全息桌面显示器(带有凝视跟踪功能)(c)多用户全息显示。
Fig. 6. 根据像素数和屏幕大小对各种全息显示器进行分类。来源: Bilkent [38], ETRI [39], Microsoft [34], NICT [40], NVIDIA [41], Seereal [42], UTokyo [43], WUT [44]
2.1.1. 头盔显示装置(HMD)
HM
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[605939]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
