Three-dimensional Video Coding Based on 3D-HEVC: A Survey
-
摘要:
三维高效视频编码（three-dimensional high efficiency video coding，3D-HEVC）是立体视频编码扩展的国际标准化组织（Joint Collaborative Team on 3D Video Coding Extension Development，JCT-3V）推出的目前最新的3D视频编码标准，基于3D-HEVC的三维视频编码技术的研究推动了其应用并成为目前三维视频编码技术的研究热点.在回顾3D视频编码标准发展基础上，描述了基于3D-HEVC的三维视频编码方案，对其中最为关键的三维视频纹理图与深度图编码方法与研究进展进行了重点分析与阐述.首先，对目前借助视频序列中纹理特性的三维视频纹理图编码方法展开了综述并说明其存在的问题.然后，对基于纹理特性和区域的三维视频深度图编码方法展开了分析和论述.最后，结合近年来最新的研究成果，展望了三维视频编码技术的发展并提出了新的研究课题.
-
关键词:
- 三维高效视频编码(3D-HEVC) /
- 视频编码标准 /
- 三维视频编码 /
- 纹理图编码 /
- 深度图编码
Abstract:Three-dimensional high efficiency video coding (3D-HEVC) is the latest 3D video coding standard launched by Joint Collaborative Team on 3D Video Coding Extension Development (JCT-3V). The research of 3D-HEVC-based video coding technology promotes its application and becomes a hot research topic of current 3D video coding technology. In this paper, a three-dimensional video coding scheme based on 3D-HEVC and especially three-dimensional texture and depth coding based on 3D-HEVC were reviewed. First, three-dimensional texture coding was analyzed by utilizing texture characteristics of video sequences, and then their problems were analyzed. Second, the three-dimensional depth coding based on texture characteristics and region were discussed and analyzed. Finally, combined with the latest research results, the development of three-dimensional video coding technology was prospected and new research topics were put forward.
-
三维(three-dimensional, 3D)视频技术的发展和完善促进了3D产业迅速兴起，3D视频技术在信息产业和家庭娱乐产业都有广泛的应用，如德国弗劳恩霍夫-海因里希·赫兹研究所(Heinrich Hertz Institute，HHI)提出的自由视点视频方案和美国三菱电机研究院(Mitsubishi Electric Research Labs，MERL)提出的交互式自由视点视频系统[1-3].其中，3D电影带来的这种立体和真实的视觉效果是传统二维平面视频不能替代的.为让观众们能在观影途中感觉到极其显著的立体视觉效果，给人身临其境的感觉，基于平面立体成像的3D立体显示器成为目前三维立体播放设备的研究热点[4].然而亮度、分辨率和视点数量是约束其发展的三大因素.其中，视点数量的增加将带来更加生动的立体效果，但数据量也将呈指数级增长，进而使有限存储资源下的视频存储与有限网络带宽下的视频传输面临巨大挑战.
为压缩3D视频，并降低3D视频的存储和数据传输压力，由国际电信联盟(International Telecommunication Union, ITU)中的视频编码专家组(Video Coding Expert Group, VCEG)和国际标准化组织(International Organization for Standardization, ISO)中的动态图像专家组(Motion Picture Expert Group, MPEG)联合成立的工作小组JCT-3V(Joint Collaborative Team on 3D Video Coding Extension Development)[5]在近年来已经开发了几种用于3D视频编码的3D视频压缩编码标准，推动了3D视频的实际应用.
2005年1月，开始制定基于高级视频编码(advanced video coding, AVC)标准H.264的多视点视频编码(multi-view video coding, MVC)拓展标准[6]. MVC标准侧重于多视点纹理视频并为其提供编码方案.然而，它也存在一些技术难题[7-9].首先，多视点视频数据的采集需要多台摄像机对同一场景进行拍摄，因此，如何校准多台相机是保证多视点视频数据一致性的重点和难点.其次，保存多视点视频数据采集过程中每台相机的参数也增加了比特开销.最后，不同视点图像间的颜色/亮度均衡问题、摄像机之间的同步问题及海量数据的传输问题均是MVC编码需要考虑的技术问题.事实上，纯纹理视频格式本身就存在这方面的问题.采用大量密集型摄像机阵列拍摄来解决多相机之间的同步、校准以及颜色均衡等问题的成本很高，因此，难以广泛应用.另外，虽然MVC标准相比同步联播结构更有效，但MVC的码率仍然随着视点个数的增加而成倍增加.深度信息可表征场景中物体的空间距离信息，因此，深度增强视频成为一种更有效的3D视频表现形式.基于此，JCT-3V团队在2013年1月基于MVC标准开发了多视点视频编码+深度(multi-view video coding plus depth，MVC+D)的扩展标准[10]. MVC+D标准中的纹理图编码与MVC标准兼容，而多视点深度数据使用另一种新的编码体系结构，由于MVC+D标准中的深度图编码是独立于纹理图编码的，导致编码比特率较高[11].为克服上述问题，2013年末颁布了基于AVC标准的3D-AVC标准[12].与MVC+D标准相比，3D-AVC标准平均节省了25%的码率，显著地提高了编码效率[13].
2013年4月，高效率视频编码(high efficiency video coding, HEVC)标准制定完成，可以将视频压缩性能提高50%，同时确保大致相同的视频编码质量[14-16]. JCT-3V小组分别于2014年10月和2015年2月制定完成了多视点高效视频编码(multi-view high efficiency video coding，MV-HEVC)和三维高效视频编码(three-dimensional high efficiency video coding，3D-HEVC)标准[17-18].其中，MV-HEVC不仅保留了HEVC中编码单元级别及以下部分的相关技术，而且为主视点提供了与HEVC标准兼容的单通道视频编码技术.其辅助视点沿用了MVC标准框架中的视差补偿预测技术. MV-HEVC标准的应用对象为多视点纹理图序列.而3D-HEVC不仅可实现纹理图的高效压缩，还引入了深度图编码技术，并基于纹理图和深度图之间的相关性实现三维视频高效压缩.与基于HEVC的同步联播结构和MV-HEVC编码框架相比，3D-HEVC编码框架能够分别平均节省41.0%和15.5%的码率.目前，3D-HEVC已经成为3D压缩标准的代表和应用研究的热点.
本文从目前最新的3D-HEVC标准开始，解释了最新的基于3D-HEVC的视频编码方案，并对最重要的基于3D-HEVC的纹理图编码、基于3D-HEVC的深度图编码、合成视点编码等方法进行分析和研究，论述其研究进展和挑战，并对其未来的发展动态进行了展望.
1. 基于3D-HEVC的三维视频编码方案
1.1 HEVC视频编码方案
HEVC视频编码标准可以支持超高画质电视，分辨率最高能达到7 680×4 320，其编码框图在H.264的基础上做了改进，如图 1所示[19].
在HEVC编码框图中，首先对输入的视频信号进行预处理，处理的基本单位是编码树单元(coding tree unit, CTU)，然后将其送入编码器，同时分块的大小和方式也被传送到解码端[20].视频序列的第一帧选用帧内预测完成编码.这种预测方法是在视频帧内部通过CTU与CTU相互间的空间相关性进行预测，并不参考其前后编码帧的数据.其次，对于视频序列中余下的其他待编码帧，大多数CTU会借用帧与帧间的时间相关性完成预测，在帧间预测的处理过程中，必须考虑并选取最佳的参考帧和运动矢量来找出当前CTU的最佳参考CTU.最后，对帧内预测以及帧间预测获取的残差信号进行变换、量化、熵编码，进而进行最终的传输.另外，为降低视频质量的失真，HEVC采用了像素自适应补偿(sample adaptive offset, SAO)模块，用于改善振铃效应。
1.2 基于3D-HEVC的三维视频编码方案
3D视频编码标准早期是基于H.264制定的，分别顺利完成了MVC/MVC+D以及3D-AVC标准的制定[21-22].鉴于HEVC标准带来的高分辨率、高帧率、高色彩还原度等优点，JCT-3V小组基于HEVC标准展开了3D视频编码的标准化工作，分别提出MV-HEVC和3D-HEVC标准. 3D-HEVC标准在MV-HEVC标准基础上引入了深度图[23].
1.2.1 三维视频应用系统框图
目前，最新的3D视频编码标准是3D-HEVC标准，图 2所示的是3D-HEVC标准下的三维视频应用系统框图.
在图 2中，共有2类输入信号：纹理图和深度图，此外还有一些参数信息.经编码器后输出的码流可以在不同类型的解码器进行解码.经2D视频解码器解码后的视频可进行2D视频显示；经立体或3D视频解码器解码后再经过视点合成，可进行3D视频显示[24].
1.2.2 三维视频存储结构和编码顺序
三维视频相较二维视频有不同的存储构造和编码时序，图 3所示是基于多视点视频+深度(multi-view video plus depth，MVD)编码格式的编码方式[25].
在图 3中，每个纹理帧都和深度帧成对出现，纹理帧和深度帧是按照存储单元进行编码的.存储单元0~K包含相同存储时间点下的所有纹理帧和深度帧.此外，存储单元的编码时序不需要与获取图像帧的时序相一致.通常，当前存储单元中纹理帧和深度帧的编码可参照上一存储单元中已编码的纹理帧和深度帧.
1.2.3 三维视频编码器框图
3D-HEVC编码结构中基准视点和其他视点的纹理图和深度图编码均基于HEVC编码架构，但相比HEVC视频编码器，3D-HEVC视频编码器做了技术扩展. 图 4是3D-HEVC标准下的三维视频编码器框图[26].
如图 4所示，三维视频编码器结构中所有输入的纹理图和深度图均源自同一时刻，但所在位置不同.纹理图和深度图共同存在于同一个存储单元，首先运用未修订的HEVC编码器结构对基准视点对应的纹理图和深度图进行编码，其次选用修正的HEVC编码器结构编码其他视点对应的纹理图和深度图[27]. 图 4中的红色箭头说明可利用视点间相近信息除去视点间冗余，提升编码性能，最终输入的所有比特流组合成3D比特流[25].
1.2.4 多视点编码
多视点编码是3D-HEVC视频编码标准中的一个重要组成部分.如图 5所示，多视点视频是由多个摄像机组成的阵列从不同角度对同一场景进行拍摄得到的，随着视点数目的增加，观看者从不同角度看到的视频内容也是有细微变化的，从而增强了观看者的沉浸感，但数据量也会成倍增加. MVD格式的出现可在一定程度上降低3D-HEVC编码的复杂度.因为MVD格式引入了基于深度图像的绘制(depth image based rendering, DIBR)技术，通过该技术可实现虚拟视点的合成，从而减少视点的数量，降低编码复杂度.
在3D-HEVC中，视点被分成了2类：独立视点与非独立视点.其中，独立视点采用原有的HEVC编码结构进行编码，而非独立视点在原有HEVC编码技术上进行了扩展，使其更有利于编码多视点.针对多视点而言，新增的与视点相关的编码技术主要有：视差补偿预测(disparity compensated prediction, DCP)、视点间运动预测与视点间冗余预测.但需要注意的是，DCP可基于视点对深度图进行编码，而视点间运动预测以及视点间残差预测只可以基于视点对纹理视频进行编码.
1.2.5 深度图编码
深度图编码是3D-HEVC视频编码标准中最新引入的一个重要部分.与纹理图不同，深度图是灰度图像，图像中像素的灰度范围一般是0~255，白色为255，黑色为0.灰度值表示物体距离摄像机的水平距离，距离越近颜色越浅，距离越远颜色越深.
图 6所示的是“Newspaper”视频序列的纹理图和深度图.通过比较图 6(a)和图 6(b)可以看出，深度图相较纹理图而言具有大面积的平滑区域，仅在物体的边缘处存在不平滑，即灰度跳变现象.此外，还可以从图 6中看出，纹理图中一些具有丰富纹理的部分，其在深度图中也没有明显的变化，比如图 6(a)中的一排书籍和人脸面部表情.
![]()
图 6 “Newspaper”视频序列的纹理图和对应深度图Figure 6. Texture map and its corresponding depth map of "Newspaper"针对深度图编码而言，很多用于编码视频图像的技术均可用于编码深度图，但深度图与纹理图不同，其具有大面积的相似区域和锐利的边缘，故3D-HEVC视频编码标准针对深度图的特点引入了新的编码技术.为编码深度图中出现的锐利边缘部分，3D-HEVC视频编码标准引入了深度建模模式(depth modeling mode, DMM)，该模式将编码单元(coding unit，CU)划分为2个非矩形区域，每一区域都用常数表示.
DMM模式共有2类划分方法，即图 7(a)所示的楔形分割与图 7(b)所示的轮廓分割.图中P1和P2为分割后的2个区域.与楔形分割不同，轮廓分割的形状可以是任意的，但其分割线不能像楔形分割一样用几何函数表示.
2. 基于3D-HEVC的三维视频编码方法
与二维视频相比，三维视频引入了视点间参考帧以及深度图，导致数据量非常庞大.就不同视点的纹理图而言，图 8为不同角度视点的冗余示意图.从图中可知，多视点视频不仅包括平面视频存在的时间方向的时间冗余(temporal redundancy)、邻接像素间的空间冗余(spatial redundancy)、主观视觉上的视觉冗余(visual redundancy)、相邻相近像素值间的统计冗余(statistical redundancy)外，还包含不同视点间的视点冗余(inter-view redundancy).这些冗余对视频的储存和数据的传输提出了重大考验.此外，由于深度图自身特有的特征，即在视频中物体的边缘处有明显的灰度变化，3D-HEVC视频编码标准也为深度图提供了专门的编码工具.为减少立体显示需要的数据量，可在解码端利用有限的视点及其对应的深度图合成多个虚拟视点.下面分别从基于3D-HEVC的三维视频纹理图编码技术、深度图编码技术以及合成视点编码3个部分进行概述.
2.1 三维视频纹理图编码
3D-HEVC编码标准中的纹理图编码包含2个部分，针对基准视点的编码以及针对其他视点的编码.对于基准视点，其使用未修改的HEVC编解码器进行编码；对于其他视点，3D-HEVC标准通过在编码过程中加入新的编码工具来进行编码，使得其他视点的纹理图可以参照基准视点的纹理图进行编码[28].本部分基于3D-HEVC标准中给出的其他视点新引入的编码工具对一系列有价值的关于3D-HEVC纹理图编码的编码方案进行分类阐述，具体如下.
2.1.1 编码单元划分/模式选择快速算法
在三维视频纹理图编码方面，现在大多数3D-HEVC编码算法的优化都针对纹理图CU.在帧内编码中，递归划分CU非常耗时且在视频编码过程中引入了较多的编码预测模式，3D-HEVC编码器通过计算帧内全部不同尺寸、不同编码模式下CU的率失真代价(rate distortion, RD)来迭代搜寻最佳的CU尺寸并明确最佳的帧内预测模式.尽管迭代分割CU的方法提供了更高的压缩效率和更好的合成质量，但编码器的编码复杂性也因此而明显增大.因此，需探寻更有效的CU划分/模式选择快速算法.
Zhang等[29]通过分析灰度图像中的角点和彩色图像相应位置间的对应关系，提出了一种CU动态分割方法，借助角点算子并结合量化参数进行CU预分割，然后修改CU深度级别，最后根据修改的深度级别缩小当前CU深度范围.该算法在保持编码质量的同时降低了编码复杂度.
为了降低帧内/帧间编码模式选择过程的计算复杂度，一些研究人员借用编码模式的RD消耗作为选择当前编码模式的基础.
Pan等[30]通过设定阈值并基于直接模式编码后得到的RD代价值来判断是否可终止其余模式的选择过程，但上述方式采用经验值作为判断的阈值，编码准确率较低.为解决其导致的准确率较低的问题，Diaz-Honrubia等[31]通过引入贝叶斯分类器并基于基准视点的编码信息加速其他视点的CU四叉树划分过程，进而降低CU全深度遍历的高计算复杂度.宋雨新等[32]根据其他视点纹理图中合并模式采用率高的特点，通过分析视点间和划分深度间的相关性设计快速判决条件，使用合并/合并-跳过模式编码来预测CU，从而进一步降低编码时间.
2.1.2 视差/运动补偿优化算法
在三维视频纹理图编码优化方面，视差/运动补偿优化算法是核心技术之一.视差补偿和运动补偿都归因于帧间预测，但是运动补偿预测(motion compensation prediction, MCP)的参考帧是在不同时间从相同视图的编码帧导出的，而DCP的参考帧是在相同时间从不同视图的编码帧导出的[33].消除不同视点和时间方向的相邻帧之间的视差/时间冗余是3D-HEVC编码的关键问题.
针对多视点视频编码中视差矢量无法获取的问题，Chen等[34]提出了一种基于邻接编码块的视差矢量推导(neighboring block-based disparity vector derivation, NBDV)算法. NBDV算法的基本概念是利用从另一视点预测得到的、与当前编码块位于同一编码位置的相邻块的时空运动信息，导出当前编码块的视差矢量.
针对多视点视频数据量庞大、计算复杂度高等问题，Pan等[35]提出了一种有效的视差/运动补偿算法.首先根据编码块模式和RD代价的特点，提出一种提前直接模式决策算法，然后基于视差/运动补偿过程中初始搜索点的特点，提出一种视差/运动终止策略.最后，利用2种模块匹配搜索策略来预测视差/运动补偿的最佳点，但目前该算法仅适用于全搜索算法，不一定适用于其他算法.
通过上述提出的快速算法获得的视差矢量的质量有所降低，针对这个问题，周作成等[36]采用新的分组方法，将待搜索的候选块在时空方向上划分为若干组，并且基于所获得的新视差矢量和最初矢量设计新的组搜索策略，然后确定最终相邻块视差矢量.该算法可显著提升获取的视差矢量.
2.1.3 高级残差预测优化算法
高级残差预测(advanced residual prediction, ARP)是一种利用视点或时间之间的残差相关性的编码工具.在ARP中，残差预测值可通过利用视点或时间方向的参考帧来得到.此外，引入加权因子以补偿视点之间的质量差异.当对一个编码块启用ARP时，仅将当前残差和残差预测值之间的差异进行传输. ARP仅适用于2N×2N大小的预测单元(prediction unit, PU).
Sugimoto等[37]针对ARP的编码性能依赖于视差矢量推导准确性的问题，提出了改进的ARP视差矢量推导方案.该方案指出，视差矢量不仅可根据参考帧得到，还可根据参考候选列表中的其他参考帧得出.该方案提高了视差矢量的精度，在一定程度上促进了ARP技术的发展.
针对传统视差矢量获取的高计算复杂度的问题，Zhang等[38]提出了一种新的视差向量推导方法，该方法仅从当前编码块的空间和时间相邻块中即可推导出视差向量，可以节省5.2%的码率，更适用于ARP技术.
2.1.4 视点合成预测优化算法
视点合成预测(view synthesis prediction, VSP)技术首先获取当前视点左边和右边的纹理及其对应的深度信息，然后再进一步合成虚拟视点，但是VSP技术的性能取决于纹理图和深度图的编码失真.因此，如何提高VSP的性能也是当今3D视频纹理图编码的研究热点之一.
Gao等[39]为改进VSP方法，首先计算了深度图的平坦度，然后利用深度图的平坦程度预测、重建深度图中可能产生的编码失真，通过校正合成视点参考帧中的与当前编码像素匹配的像素和视差矢量，提高了VSP技术的编码效率.
Shao等[40]基于推导出的视点合成质量预测(view synthesis quality prediction, VSQP)模型提出了一种高效度量视点合成质量的预测方法.该模型通过将与纹理相关的VSQP指数和与深度相关的VSQP指数结合，生成一个高效视点合成质量预测(high efficiency video synthesis quality prediction, HEVSQP)指数.该度量方法在整个综合视频质量数据库上具有良好的评价性能.
2.1.5 基于深度信息的编码优化算法
在3D视频编解码过程中，纹理视频和深度视频表示的是同一场景的信息，因此，两者在某些背景区域或者前景区域存在相似性[41].为了加速纹理图的编码处理，可以基于深度图中的深度信息来快速编码纹理图.
Dou等[42]分析了不同尺寸编码块下的跳过率并统计了失真值在深度图和纹理图中的分布，提出一种加速合成视点失真(synthesized view distortion change, SVDC)计算的方法.该方法用区域计算代替整行计算，进一步提高了深度图的编码速度.
针对运动估计(motion estimation, ME)带来高编码复杂度的问题，Lee等[43]利用多视点加深度视频中的深度图来调整ME中的搜索范围，通过计算与当前块相邻的编码块的运动矢量的加权和来得到编码块的运动矢量与当前块搜索范围之间的相关性.该算法在ME中平均节省了65%的编码时间.
Dou等[44]针对模式决策过程中计算复杂度高的问题，分析了多视点+深度图格式中编码单元模式与深度值之间的关系，利用深度信息确定纹理图中编码单元的模式决策过程，能在保持几乎相同率失真性能的同时显著降低编码复杂度.
2.2 三维视频深度图编码
对于深度图编码，在帧内预测、运动补偿预测、视差补偿预测和变换编码方面基本与纹理图的编码方式相同.但相比纹理图，深度图的细节信息更少且其内容特征有别于纹理图，因此，必须采用新的编码方法才能保证深度图的编码质量，例如，DMM、深度图帧内跳过模式(depth intra skip, DIS)、深度四叉树划分(depth quad-tree prediction)、分段式DC编码(segment-wise DC coding, SDC)、运动参数继承(motion parameter inheritance, MPI)等.该部分主要基于纹理图的编码信息，针对深度图视频内容的特殊性，基于深度图中新引入的编码工具对3D-HEVC中的深度图编码方法进行分类阐述，具体如下.
2.2.1 深度建模模式决策算法
编码器需要计算每一个候选帧内预测模式的RD代价，DMM等模式的引入增加了计算RD代价的次数进而导致编码复杂度增加. Shen等[45]通过分析发现CU所对应编码模式的复杂度是由时空相关性、视点间相关性以及纹理图和它对应的深度图共同决定的，因此，该方法巧妙地将3D-HEVC中所有可用的帧内模式划分为3类，每类均有不同的权重因子，权重因子是由CU所对应编码模式的复杂度决定的.
此外，为减少三维视频深度图编码的计算复杂度，Chen等[46]基于梯度和准则提出了一种快速帧内编码(sum-of-gradient criterion for depth map coding, SOG-FDIC)算法.该方法通过前期实验，发现在深度图的平坦区域很少使用小尺寸的CU和DMM模式，故可利用所求梯度和的大小去判断是否进行CU划分或跳过当前CU的DMM模式.
2.2.2 深度帧内模式决策算法
与纹理图相比，深度图具有不同的统计特性，因此，各种新的编码工具被集成到3D-HEVC深度图编码中. Zhang等[47]提出了一种适用于3D-HEVC深度图编码的快速帧内模式决策算法，使用深度图的特征来预测当前深度图的帧内预测模式，并跳过在3D-HEVC深度编码中很少使用的一些帧内预测模式.
Peng等[48]提出了2种适用于加快深度图编码的新技术，在快速帧内模式决策中，该方法证明如果候选模式的最小RD代价小于全模式搜索的RD代价，则跳过对当前CU的模式决策过程.该方法同样证明了若当前的CU大小具有良好的编码性能，则不用进行CU划分.
纹理图和深度图表示的是同一场景的信息，因此，纹理图和深度图在内容上具有一定的相似性和差异性.由于纹理图包含比深度图更多的信息，所以可以通过纹理图的丰富编码信息来辅助深度图编码.此外，虚拟视图的合成离不开深度图，因此，编码深度图边缘的准确性直接影响虚拟视图合成的质量[49].
Zhang等[50]通过对深度图边缘进行分类以及将深度信息与纹理信息相关联来加快深度图的编码速度.该方法利用纹理信息来预测当前深度图CU的深度级别，并使用Canny算子将深度图的CU归类为边缘区域或者非边缘区域.当深度图的CU被划分为非边缘区域时，帧间预测模式的候选模式仅是合并/跳过、帧间2N×2N、planar和DC模式，其余模式均不在考虑范围内.
Lei等[51]基于灰度相似性提出了一种深度图快速编码模式决策算法.该算法针对提前终止CU的问题，通过设定的阈值对当前CU和参考帧的灰度相似性进行分类.当灰度相似度高时，当前CU四叉树的深度需要考虑参考帧中相同位置编码块的深度.另外，对于非独立视点，虽然P帧和B帧使用不同的编码策略，但是P帧也使用相邻CU的空间信息用于帧间模式决策.
2.2.3 深度四叉树预测算法
Zhang等[52]通过实验发现深度图与纹理图相比具有良好的结构特征，且纹理特征较少，因此，提出一种加速四叉树决策的快速深度帧内编码算法.该方法可自适应地提取角点特征并预先分配CU深度.对于具有更高深度划分范围的CU，可以跳过其四叉树分区；对于具有较低深度分区的CU，可以直接划分当前CU.
Mora等[53]提出了一种限制帧间四叉树划分的方法，适用于P帧和B帧的四叉树划分.该方法的前提是编码的当前纹理帧和相应的深度图表示同一场景的信息，因此，它们的四叉树结构也非常相似，然后纹理图中四叉树的深度级别可用于预测深度图中四叉树的深度级别.
2.2.4 分段式DC编码算法
分段式DC编码方法提供了一种新的残差编码方法，对残差数据的编码不再进行变换和量化的过程，且可应用于所有的深度帧内预测模式，但对于DMM模式，整个PU被划分成2个段进行处理.
Zhang等[54]针对3D-HEVC深度图编码的高计算复杂度问题，利用CU迭代划分的特点，提出了一种基于分层编码架构的提前终止分段式DC编码的算法.该算法在保证合成视点质量的同时可以减少编码复杂度.
2.2.5 运动参数继承算法
MPI算法背后的基本思想是，纹理图及其对应的深度图的运动特征应该相似，因为它们都是在同一时间点、同一视角下对相同景物的拍摄.因此，为了有效地编码深度图数据，引入了深度编码中Merge模式的纹理候选，允许深度图从纹理图中继承运动参数.
Lin等[55]利用纹理图与深度图之间的相关性，提出了一种视点间运动预测和纹理与深度间运动预测的方法，分别用于降低视点间和纹理与深度间的冗余.在此基础上，还引入了一种称为单深度模式的编码模式.该编码模式基于HEVC的四叉树划分，可简单地重构具有单深度值的编码块，在给定码率下可获得更高的三维视频压缩性能.
2.3 三维视频合成视点编码
因为深度图提供的深度数据会用于虚拟视点的合成，所以编码深度图带来的失真会引起合成视点的失真.因此，视点合成优化(view synthesis optimization，VSO)方法替代了原有的率失真优化(rate distortion optimization，RDO)方法，在计算失真时不仅考虑了深度图编码失真，还考虑了合成视点失真.
窦环等[56]通过分析视点合成过程中深度图像素与纹理图及合成视点的纹理图像素之间的关系，得出结论：平坦纹理区域的失真深度值不会引起合成视点失真.该方法利用帧内DC预测特性和统计方法来加速合成视点失真的计算过程，可以保持编码质量，同时减少编码时间.
Dou等[57]针对复杂的合成视点失真计算过程展开研究，通过分析失真像素位置所在的编码区域，提出了一种基于纹理平滑度的快速深度图编码算法，可以跳过不必要的虚拟视点合成.该方法可避免基于深度图编码中的合成视点失真的计算率失真代价复杂度高的问题.
3. 三维视频编码展望
随着三维视频编码标准的发展，“纹理图+深度图”的编码方式发挥越来越重要的作用.但现阶段关于三维视频编码的研究大多依赖传统方法，为突破研究瓶颈，三维视频编码技术的发展呈现出以下趋势.
1) 基于深度学习的纹理图快速编码方法研究
因为三维视频纹理图视点数量多，所以视频数据量大、内容复杂，为满足三维视频纹理图能够实现实时网络传输，有必要对其进行数据压缩，进而提高纹理图的编码速度.已有研究表明，卷积神经网络(convolutional neural network，CNN)能够不受人为干预、自发地提取原始信号的特征，且长短期记忆(long short tem memory，LSTM)网络可学习视频序列的时序依赖关系，目前已有研究将CNN应用于HEVC视频编码中.
Xu等[58]提出基于CNN降低编码复杂度的方法.首先，该方法为HEVC帧内CU划分和帧间CU划分分别构建了具有大量样本的数据库；其次，提出一种提前终止CU层级划分(early terminated hierarchical CNN, ETH-CNN)的深度CNN架构，该架构可以基于分层CU划分映射图(hierarchical CU partition map, HCPM)来预测CU划分结构输出，从而减少HEVC帧内CU划分复杂度；最后，该方法基于LSTM构建了ETH-LSTM架构，该架构学习了CU划分的时空相关性，从而减少HEVC帧间CU划分复杂度.
因此，将LSTM与CNN架构融合，可同时学习视频内容的空间和时间相关性，从而进一步降低3D-HEVC的三维视频纹理图编码复杂度.在纹理图编码单元的CU快速划分、纹理图帧内模式快速选择等方面具有广泛应用.
Zhu等[59]提出基于CNN增强三维高效视频编码质量的方法.该方法的目的是重建无失真合成视点，首先，基于图像恢复功能构建合成视点失真模型；其次，该方法将学习到的CNN模型加入到三维视频编解码器中，以提高VSO和最终合成视点的性能；最后，该方法基于率失真函数推导了一种拉格朗日乘子，以适应基于CNN的VSO过程.文献[59]中给出的实验结果表明，该方法可优化三维视频的编码性能.
2) 基于数据挖掘的深度图快速编码方法研究
如何准确地检测深度图的边缘区域并对其进行编码是保证合成虚拟视点质量的关键问题.近年来，数据挖掘技术也被引入到深度图编码中，因此，可以利用数据挖掘和机器学习来关联编码器上下文属性，得到一些特征并将其用于构建静态决策树，从而加速深度图编码单元的划分过程.
文献[60]利用数据挖掘和机器学习来关联编码器上下文属性，构建静态决策树.其中每个决策树决定深度图编码单元是否必须拆分为较小的块，通过评估编码器属性来考虑上下文的编码.该方法使用从3D-HEVC测试模型中提取的数据对决策树进行了训练，并在常见测试条件下对所提方法进行了评估.该方法可节约50%的编码时间.
在CU大小分割方面，主要是通过提前判定CU大小以减少CU递归搜索的时间，进而降低编码复杂度. Hamout等[61]基于大数据分析提出了一种帧内编码单元快速划分的算法，该算法是在所选择的训练数据上使用自动合并可能聚类方法，基于海量数据建立统一的CU划分模型.
3) 合成视点驱动的纹理图和深度图编码技术的研究
目前，MVD格式是三维视频的主流表达形式.在MVD格式下，合成的虚拟视点质量是保证三维视频质量的一个关键，由于深度图的编码质量对合成视点失真具有直接影响，并且纹理图的编码间接影响深度图的编码，所以，需进一步研究纹理图编码和深度图编码与合成视点失真之间的关系.
在3D-HEVC深度图编码中，HTM16.0跳过深度值无明显差异的像素行的方法忽略了VSO中的可跳过的分段区域，文献[62]针对该问题提出了一种加速视点合成的算法.该算法基于纹理平滑度和深度数据不变的特点，设计了一种基于纹理平滑度和深度数据不变的分段跳过方法，可在不影响视点合成失真的前提下降低编码复杂度.
4) 基于多功能视频编码标准(versatile video coding, VVC)的研究
自2015年10月成立联合视频探索小组(Joint Video Exploration Team，JVET)以来，到目前为止，已经进行了14次会议.在2018年4月的圣地亚哥会议上，JVET将下一代视频编码标准命名为VVC[63-64].此外，JVET小组还以HEVC标准下的参考软件HM(HEVC test model)[65]为基础建立了面向H.266标准的过渡测试平台联合探索测试模型(joint exploration test model，JEM)[66]和正式测试平台视频测试模型(video test model，VTM)[67].与HEVC相比，VVC标准对帧内/帧间预测、CU划分等技术做了一些提升，但也引起了编码复杂度的提升.
JVET小组尝试通过更好的压缩标准提高压缩效率并降低带宽压力，实际上压缩效率的提高会进一步刺激视频应用需求的不断增长，例如全景视频、高动态范围编码扩展(high-dynamic-range coding extension, HDR)[68]等，进而推动视频行业的持续发展.现在的三维视频编码是基于3D-HEVC标准的，今后随着VVC标准的成熟，可能会形成3D-VVC标准.因此，开展VVC标准的研究对推进三维视频的实际应用具有重大的积极意义和研究价值.
-
![]()
图 6 “Newspaper”视频序列的纹理图和对应深度图
Figure 6. Texture map and its corresponding depth map of "Newspaper"
-
[1] SMOLIC A, MUELLER K, MERKLE P. 3D video and free viewpoint video technologies, applications and MPEG standards[C]//2006 IEEE International Conference on Multimedia and Expo, ICME 2006-Proceedings. New York: Inst. of Elec. and Elec. Eng. Computer Society, 2006: 2161-2164.
[2] ZHANG L, TAM W J. Stereoscopic image generation based on depth images for 3D TV[J]. IEEE Transactions on Broadcasting, 2005, 51(2):191-199. doi: 10.1109/TBC.2005.846190
[3] FUJII T, MORI K, TAKEDA K, et al. Multipoint measuring system for video and sound-100-camera and microphone system[C]//2006 IEEE International Conference on Multimedia and Expo, ICME 2006-Proceedings. New York: Inst. of Elec. and Elec. Eng. Computer Society, 2006: 437-440.
[4] TECH G, CHEN Y, MULLER K, et al. Overview of the multiview and 3D extensions of high efficiency video coding[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2015, 26(1):35-49. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=29c93ec5667929f05db536900498ba9b
[5] SAMI J, MOHAMED-CHAKER L, BELHADJ T J. Low complexity intra prediction mode decision for 3D-HEVC depth coding[J]. Signal Processing:Image Communication, 2018, 67:34-47. doi: 10.1016/j.image.2018.05.007
[6] YANG Y, HONG J H, OH B T. Multi-layer frame rate up-conversion using trilateral filtering for multi-view video[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2019, 29(2):283-292. doi: 10.1109/TCSVT.2017.2778707
[7] 马利静.自适应压缩感知图像编码算法研究[D].北京: 北京交通大学, 2017. http://cdmd.cnki.com.cn/Article/CDMD-10004-1017043461.htm MA L J. Adaptive image coding algorithm based on compressivesensing[D]. Beijing: Beijing Jiaotong University, 2017. (in Chinese) http://cdmd.cnki.com.cn/Article/CDMD-10004-1017043461.htm
[8] 贾克斌, 窦环, 邓智玭.基于SVM的MVC快速宏块模式选择算法[J].北京工业大学学报, 2013, 39(10):1488-1493. http://www.cnki.com.cn/Article/CJFDTotal-BJGD201310010.htm JIA K B, DOU H, DENG Z P. SVM-based macroblock mode decision algorithm for MVC[J]. Journal of Beijing University of Technology, 2013, 39(10):1488-1493. (in Chinese) http://www.cnki.com.cn/Article/CJFDTotal-BJGD201310010.htm
[9] 邓智玭, 贾克斌, 陈锐霖, 等.多视点视频编码中的运动和视差估计快速算法[J].北京工业大学学报, 2011, 37(5):683-690. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=bjgydxxb201105007 DENG Z P, JIA K B, CHEN R L, et al. Fast motion and disparity estimation of multi-view video coding[J]. Journal of Beijing University of Technology, 2011, 37(5):683-690. (in Chinese) http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=bjgydxxb201105007
[10] JOACHIMIAK M, HANNUKSELA M M, AFAKI P, et al. Upsampled-view distortion optimization for mixed resolution 3D video coding[C]//2015 IEEE International Conference on Image Processing, ICIP 2015-Proceedings. Los Alamitors: IEEE Computer Society Press, 2015: 1056-1060.
[11] KLIMASZEWSKI K, STANKIEWICZ O, WEGNER K, et al. Quantization optimization in multiview plus depth video coding[C]//2014 IEEE International Conference on Image Processing, ICIP 2014. Piscataway: Institute of Electrical and Electronics Engineers Inc., 2014: 3223-3227.
[12] LEE J Y, PARK H W. Efficient synthesis-based depth map coding in AVC-compatible 3D video coding[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2016, 26(6):1107-1116. doi: 10.1109/TCSVT.2015.2441491
[13] STANKIEWICZ O, WEGNER K. Study of 3D video compression using nonlinear depth representation[J]. IEEE Access, 2019, 7:31110-31122. doi: 10.1109/ACCESS.2019.2903087
[14] SULLIVAN G J, OHM J R, HAN W J, et al. Overview of the high efficiency video coding (HEVC) standard[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2013, 22(12):1649-1668. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=04ead5e564a93b5615261c15430e4100
[15] JAMALI M, COULOMBE S. Fast HEVC intra mode decision based on RDO cost prediction[J]. IEEE Transactions on Broadcasting, 2019, 65(1):109-122. doi: 10.1109/TBC.2018.2847464
[16] 周作成, 贾克斌.新一代视频编码标准HEVC关键技术及其应用[J].北京工业大学学报, 2014, 40(10):1489-1496. http://www.cnki.com.cn/Article/CJFDTotal-BJGD201410010.htm ZHOU Z C, JIA K B. Key technologies and applications of next generation video coding standard HEVC[J]. Journal of Beijing University of Technology, 2014, 40(10):1489-1496. (in Chinese) http://www.cnki.com.cn/Article/CJFDTotal-BJGD201410010.htm
[17] LEE J Y, HAN J K, KIM J G, et al. Efficient inter-view motion vector prediction in multi-view HEVC[J]. IEEE Transactions on Broadcasting, 2018, 64(3):666-680. doi: 10.1109/TBC.2017.2781127
[18] ZHU L W, ZHANG Y, WANG S Q, et al. Convolutional neural network based synthesized view quality enhancement for 3D video coding[J]. IEEE Transactions on Image Processing, 2018, 27(11):5365-5377. doi: 10.1109/TIP.2018.2858022
[19] 范光宾.基于时空特征的HEVC压缩视频差错掩盖算法研究[D].南京: 南京邮电大学, 2017. http://cdmd.cnki.com.cn/Article/CDMD-10293-1017859066.htm FAN G B. Error concealment techniques for HEVC video based on spatial-temporal characteristics[D]. Nanjing: Nanjing University of Posts and Telecommunications, 2017. (in Chinese) http://cdmd.cnki.com.cn/Article/CDMD-10293-1017859066.htm
[20] 浦炜. HEVC帧间PU模式快速选择算法的研究[D].南京: 南京邮电大学, 2017. http://cdmd.cnki.com.cn/Article/CDMD-10293-1017859067.htm PU W. Study on fast algorithm concerning inter PU mode decision for HEVC[D]. Nanjing: Nanjing University of Posts and Telecommunications, 2017. (in Chinese) http://cdmd.cnki.com.cn/Article/CDMD-10293-1017859067.htm
[21] CHEN Y, HANNUKSELA M M, SUZUKI T, et al. Overview of the MVC+D 3D video coding standard[J]. Journal of Visual Communication and Image Representation, 2014, 25(4):679-688. doi: 10.1016/j.jvcir.2013.03.013
[22] HANNUKSELA M M, YAN Y, HUANG X, et al. Overview of the multiview high efficiency video coding (MV-HEVC) standard[C]//2015 IEEE International Conference on Image Processing, ICIP 2015-Proceedings. Los Alamitors: IEEE Computer Society Press, 2015: 2154-2158.
[23] TECH G, WEGNER K, CHEN Y, et al. 3D-HEVC draft text 7[R]. Geneva: JCT-3V document JCT3V-K1001, 2015.
[24] 宋雨新.基于3D-HEVC的多视点视频快速编码与码率控制技术研究[D].北京: 北京工业大学, 2016. http://cdmd.cnki.com.cn/Article/CDMD-10005-1016785492.htm SONG Y X. Research on fast video coding and rate control technologies for multi-view video based on 3D-HEVC[D]. Beijing: Beijing University of Technology, 2016. (in Chinese) http://cdmd.cnki.com.cn/Article/CDMD-10005-1016785492.htm
[25] CHEN Y, TECH G, WEGNER K, et al. Test model 11 of 3D-HEVC and MV-HEVC[R]. Geneva: JCT-3V Document JCT3V-K1003, 2015.
[26] VETRO A, CHEN Y, MUELLER K. HEVC-compatible extensions for advanced coding of 3D and multiview video[C]//Proceedings-DCC 2015: 2015 Data Compression Conference. Piscataway: Institute of Electrical and Electronics Engineers Inc., 2015: 13-22.
[27] 黄新彭.基于HEVC的三维视频编码快速算法研究[D].郑州: 郑州轻工业学院, 2016. http://cdmd.cnki.com.cn/Article/CDMD-10462-1016316255.htm HUANG X P. Research on fast algorithm of 3D video coding based n HEVC standard[D]. Zhengzhou: Zhengzhou University of Light Industry, 2016. (in Chinese) http://cdmd.cnki.com.cn/Article/CDMD-10462-1016316255.htm
[28] 莫冬春. 3D-HEVC深度图编码率失真优化技术研究[D].西安: 西安电子科技大学, 2017. http://cdmd.cnki.com.cn/Article/CDMD-10701-1017297134.htm MO D C. Research on rate-distortion optimization techniques of depth coding for 3D-HEVC[D]. Xi'an: Xidian University, 2017. (in Chinese) http://cdmd.cnki.com.cn/Article/CDMD-10701-1017297134.htm
[29] ZHANG H, CHAN Y L, FU C H, et al. Quadtree decision for depth intra coding in 3D-HEVC by good feature[C]//2016 IEEE International Conference on Acoustics, Speech and Signal Processing, ICASSP 2016-Proceedings. Piscataway: Institute of Electrical and Electronics Engineers Inc., 2016: 1481-1485.
[30] PAN Z, ZHANG Y, LEI J, et al. Early direct mode decision based on all-zero block and rate distortion cost for multiview video coding[J]. IET Image Processing, 2016, 10(1):9-15. doi: 10.1049/iet-ipr.2014.1018
[31] DIAZ-HONRUBIA A J, DE PRAETER J, VAN L S, et al. Using Bayesian classifiers for low complexity multiview H.264/AVC and HEVC hybrid architecture[C]//2015 IEEE International Workshop on Machine Learning for Signal Processing-Proceedings of MLSP 2015. Los Alamitors: IEEE Computer Society Press, 2015: 1-6.
[32] 宋雨新, 贾克斌, 吴强. 3D-HEVC合并模式快速判决方法研究[J].信号处理, 2016, 32(1):46-55. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=xhcl201601007 SONG Y X, JIA K B, WU Q. Research on fast merge mode decision method for 3D-HEVC[J]. Journal of Signal Processing, 2016, 32(1):46-55. (in Chinese) http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=xhcl201601007
[33] 朱秀昌, 王国刚, 陈杰, 等. HEVC标准的多层视频编码扩展[J].南京邮电大学学报(自然科学版), 2015, 35(3):1-10. http://d.old.wanfangdata.com.cn/Periodical/njydxyxb201503001 ZHU X C, WANG G G, CHEN J, et al. Multi-layer video coding extensions of HEVC standard[J]. Journal of Nanjing University of Posts and Telecommunications (Natural Science), 2015, 35(3):1-10. http://d.old.wanfangdata.com.cn/Periodical/njydxyxb201503001
[34] CHEN Y, ZHAO X, ZHANG L, et al. Multiview and 3D video compression using neighboring block based disparity vectors[J]. IEEE Transactions on Multimedia, 2016, 18(4):576-589. doi: 10.1109/TMM.2016.2525010
[35] PAN Z, ZHANG Y, KWONG S. Efficient motion and disparity estimation optimization for low complexity multiview video coding[J]. IEEE Transactions on Broadcasting, 2015, 61(2):166-176. doi: 10.1109/TBC.2015.2419824
[36] 周作成, 贾克斌.基于3D-HEVC标准的相邻块视差矢量获取算法质量优化的研究[J].电子学报, 2017, 45(8):1931-1936. doi: 10.3969/j.issn.0372-2112.2017.08.018 ZHOU Z C, JIA K B. Quality improved neighbor block disparity vector derivation in 3D-HEVC[J]. Acta Electronica Sinica, 2017, 45(8):1931-1936. (in Chinese) doi: 10.3969/j.issn.0372-2112.2017.08.018
[37] SUGIMOTO S, SHIMIZU S, KOJIMA A. Improved disparity vector derivation for inter-view residual prediction in 3D-HEVC[C]//2014 IEEE Visual Communications and Image Processing Conference, VCIP 2014. Piscataway: Institute of Electrical and Electronics Engineers Inc., 2015: 77-80.
[38] ZHANG L, CHEN Y, KARCZEWICZ M. Disparity vector based advanced inter-view prediction in 3D-HEVC[C]//2013 IEEE International Symposium on Circuits and Systems, ISCAS 2013. Piscataway: Institute of Electrical and Electronics Engineers Inc., 2013: 1632-1635.
[39] GAO P, XIANG W. Disparity vector correction for view synthesis prediction-based 3-D video transmission[J]. IEEE Transactions on Multimedia, 2015, 17(8):1153-1165. doi: 10.1109/TMM.2015.2438711
[40] SHAO F, YUAN Q, LIN W, et al. No-reference view synthesis quality prediction for 3-D videos based on color-depth interactions[J]. IEEE Transactions on Multimedia, 2018, 20(3):659-674. doi: 10.1109/TMM.2017.2748460
[41] 李焕青. 3D-HEVC视频编码技术研究[D].西安: 西安电子科技大学, 2014. LI H Q. Research on coding technologies of 3D-HEVC[D]. Xi'an: Xidian University, 2014. (in Chinese)
[42] DOU H, CHAN Y L, JIA K B, et al. Segment-based view synthesis optimization scheme in 3D-HEVC[J]. Journal of Visual Communication and Image Representation, 2017, 42:104-111. doi: 10.1016/j.jvcir.2016.11.012
[43] LEE T K, CHAN Y L, SIU W C. Adaptive search range by neighbouring depth intensity weighted sum for HEVC texture coding[J]. Electronics Letters, 2016, 52(12):1018-1020. doi: 10.1049/el.2016.0261
[44] DOU H, JIA K B. A depth based mode decision algorithm for 3D video coding[C]//Proceedings-2013 9th International Conference on Intelligent Information Hiding and Multimedia Signal Processing, IIH-MSP 2013. Los Alamitors: IEEE Computer Society Press, 2013: 129-132.
[45] SHEN L, LI K, FENG G, et al. Efficient intra mode selection for depth-map coding utilizing spatiotemporal, inter-component and inter-view correlations in 3D-HEVC[J]. IEEE Transactions on Image Processing, 2018, 27(9):4195-4206. doi: 10.1109/TIP.2018.2837379
[46] CHEN J, WANG B H, ZENG H Q, et al. Sum-of-gradient based fast intra coding in 3D-HEVC for depth map sequence (SOG-FDIC)[J]. Journal of Visual Communication and Image Representation (JCVIR), 2017, 48:329-339. doi: 10.1016/j.jvcir.2017.05.006
[47] ZHANG Q, YANG Y, CHANG H, et al. Fast intra mode decision for depth coding in 3D-HEVC[J]. Multidimensional Systems and Signal Processing, 2017, 28(4):1203-1226. doi: 10.1007/s11045-016-0388-1
[48] PENG K K, CHIANG J C, LIE W N. Low complexity depth intra coding combining fast intra mode and fast CU size decision in 3D-HEVC[C]//Proceedings-International Conference on Image Processing, ICIP. Los Alamitors: IEEE Computer Society Press, 2016: 1126-1130.
[49] 陈真真, 卿粼波, 何小海, 等.基于非均匀量化的小波域分布式深度图视频编码[J].计算机应用, 2016, 36(4):1080-1084. http://d.old.wanfangdata.com.cn/Periodical/jsjyy201604038 CHEN Z Z, QING L B, HE X H, et al. Wavelet domain distributed depth map video coding based on non-uniform quantization[J]. Journal of Computer Applications, 2016, 36(4):1080-1084. (in Chinese) http://d.old.wanfangdata.com.cn/Periodical/jsjyy201604038
[50] ZHANG Q W, ZHANG N, WEI T, et al. Fast depth map mode decision based on depth-texture correlation and edge classification for 3D-HEVC[J]. Journal of Visual Communication and Image Representation (JCVIR), 2017, 45:170-180. doi: 10.1016/j.jvcir.2017.03.004
[51] LEI J J, DUAN J H, WU F, et al. Fast mode decision based on grayscale similarity and inter-view correlation for depth map coding in 3D-HEVC[J]. IEEE Transactions on Circuits and Systems for Video Technology (TCSVT), 2018, 28(3):706-718. doi: 10.1109/TCSVT.2016.2617332
[52] ZHANG H, CHAN Y L, FU C H, et al. Quadtree decision for depth intra coding in 3D-HEVC by good feature[C]//2016 IEEE International Conference on Acoustics, Speech and Signal Processing, ICASSP 2016-Proceedings. Piscataway: Institute of Electrical and Electronics Engineers Inc., 2016: 1481-1485.
[53] MORA E G, JUNG J, CAGNAZZO M, et al. Initialization, limitation, and predictive coding of the depth and texture quadtree in 3D-HEVC[J]. IEEE Transactions on Circuits and Systems for Video Technology(TCSVT), 2014, 24(9):1554-1565. doi: 10.1109/TCSVT.2013.2283110
[54] ZHANG H B, TSANG S H, CHAN Y L, et al. Early determination of intra mode and segment-wise DC coding for depth map based on hierarchical coding structure in 3D-HEVC[C]//2015 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference, APSIPA ASC 2015. Piscataway: Institute of Electrical and Electronics Engineers Inc., 2015: 374-378.
[55] LIN J L, CHEN Y W, CHANG Y L, et al. Advanced texture and depth coding in 3D-HEVC[J]. Journal of Visual Communication and Image Representation, 2018, 50:83-92. doi: 10.1016/j.jvcir.2017.11.003
[56] 窦环, 贾克斌, 陈锐霖, 等.基于纹理平滑度的视点合成失真优化快速算法[J].通信学报, 2016, 37(3):98-106. http://d.old.wanfangdata.com.cn/Periodical/txxb201603011 DOU H, JIA K B, CHEN R L, et al. Fast view synthesis optimization algorithm based on texture smoothness[J]. Journal on Communications, 2016, 37(3):98-106. (in Chinese) http://d.old.wanfangdata.com.cn/Periodical/txxb201603011
[57] DOU H, CHAN Y L, JIA K B, et al. View synthesis optimization based on texture smoothness for 3D-HEVC[C]//2015 IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP 2015-Proceedings. Piscataway: Institute of Electrical and Electronics Engineers Inc., 2015: 1443-1447.
[58] XU M, LI T Y, WANG Z L, et al. Reducing complexity of HEVC:a deep learning approach[J]. IEEE Transactions on Image Processing, 2018, 27(10):5044-5059. doi: 10.1109/TIP.2018.2847035
[59] ZHU L W, ZHANG Y, SWANG S Q, et al. Convolutional neural network based synthesized view quality enhancement for 3D Video coding[J]. IEEE Transactions on Image Processing, 2018, 27(11):5365-5377. doi: 10.1109/TIP.2018.2858022
[60] SALDANHA M, SANCHEZ G, MARCON C, et al. Fast 3D-HEVC depth map encoding using machine learning[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2019(in Press). DOI:10. 1109/TCSVT.2019.2898122.
[61] HAMOUT H, ELYOUSFI. A. Fast texture intra size coding based on big data clustering for 3D-HEVC[C]//2018 IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP 2018-Proceedings. Piscataway: Institute of Electrical and Electronics Engineers Inc., 2018: 1728-1732.
[62] DOU H, CHAN Y L, JIA K B, et al. An adaptive segment-based view synthesis optimization method for 3D-HEVC[C]//2015 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference, APSIPA ASC 2015. Piscataway: Institute of Electrical and Electronics Engineers Inc., 2015: 297-302.
[63] CHEN J, ALSHINA E. Algorithm description for versatile video coding and test model 1(VTM 1)[R]. San Diego: JVET Document JVET-J1002, 2018.
[64] CHEN J L, ALSHINA E, BOYCE J. Algorithm description for versatile video coding and test model 1[R]. San Diego: JVET Document JVET-J1002-v2, 2018.
[65] LI B, LI H Q, LI L. Adaptive bit allocation for R-lambda model rate control in HM[R]. Incheon: JCT-VC Document JCTVC-M0036, 2013.
[66] CHEN J L, ALSHINA E, BOYCE J, et al. Algorithm description of joint exploration test model 7(JEM7)[R]. Torino: JVET Document JVET-G1001, 2017.
[67] ALSHINA E, ALSHIN A, CHOI K, et al. Performance of JEM1.0 tools analysis by Samsung[R]. San Diego: JVET Document JVET-B0022, 2016.
[68] FRANCOIS E, KERKHOF L V D. A single-layer HDR video coding framework with SDR compatibility[J]. Smpte Motion Imaging Journal, 2017, 126(3):16-22. doi: 10.5594/JMI.2017.2660618
-
期刊类型引用(3)
1. 刘杨杨，丁刚毅，闫大鹏，薛彤. 超高清视频纹理的实时仿真方法. 系统仿真学报. 2023(08): 1748-1756 . 
百度学术
2. 曹强，周存. 嵌入式在线视频帧间信号自适应压缩方法. 计算机仿真. 2021(03): 87-91 . 百度学术
3. 蒋林，施佳琪，李远成. 可重构结构下合成视点失真变化算法并行设计与实现. 计算机应用. 2021(06): 1734-1740 . 百度学术
其他类型引用(2)
下载:
计量
- 文章访问数: 432
- HTML全文浏览量: 28
- PDF下载量: 91
- 被引次数: 5
