金鼎工业资源网
您现在的位置:金鼎工业资源网>> 数据中心 H类电学电器>>正文内容

CN201480032644.7 用于补偿亮度差的层间视频编码方法和设备以及层间视频解码方法和设备

技术领域

本发明涉及层间视频编码方法和设备以及视频解码方法及其设备,更具体地,涉及一种推导出用于补偿层间图像之间的亮度差的亮度补偿参数的方法。

背景技术

随着用于再现和存储高分辨率或高质量视频内容的硬件的开发和提供,对于用于有效地对高分辨率或高质量视频内容进行编码或解码的视频编解码器的需求正在增加。根据传统的视频编解码器,基于根据树结构的编码单元,根据受限的编码方法来对视频进行编码。

空间域的图像数据经由频率变换被变换为频域的系数。根据视频编解码器,将图像划分为具有预定尺寸的块,对每个各块执行离散余弦变换(DCT),并以块为单位对频率系数进行编码,以进行频率变换的快速计算。与空间域的图像数据相比,频域的系数容易被压缩。具体地,由于根据经由视频编解码器的帧间预测或帧内预测的预测误差来表示空间域的图像像素值,因此当对预测误差执行频率变换时,大量数据可被变换为0。根据视频编解码器,可通过使用小量数据来代替连续并重复产生的数据,来减少数据量。

具体地,在对视频进行编码和解码的操作期间可使用将重建像素的值调整SAO大小的方法,从而使原始图像与重建图像之间的误差最小化。

根据多层视频编解码器,可对第一层视频和一个或更多个第二层视频进行编码和解码。第一层视频和第二层视频的数据量可通过消除时间/空间冗余以及第一层视频与第二层视频的层间冗余而被减小。

发明内容

技术问题

为了推导出亮度补偿参数,需要获得与第二层当前块相应的第一层重建块周围的像素的值。在此,可使用视差矢量来找到与第二层当前块相应的第一层重建块。

然而,由于视差矢量可呈现出小数单位的精确度(诸如,四分之一像素或二分之一像素),因此,在第二层当前块的位置由视差矢量所指示的位置可以是子像素的位置。然而,为了减小亮度补偿的复杂度,按照整像素对第二层当前块周围的像素与在第一层参考块周围的像素进行比较,因此,参考块的位置应被确定为整像素的位置。

技术方案

本发明提供了一种层间视频解码方法,其中,所述层间视频解码方法包括确定是否针对通过使用第一层参考块将被重建的第二层当前块执行亮度补偿;基于是否执行亮度补偿,通过使用与相应于第二层当前块的参考像素的位置的第一层的参考位置最接近的整像素来确定第一层参考像素;通过使用确定的第一层参考像素和在第二层当前块周围的像素来确定关于第二层当前块的亮度补偿参数。

有益效果

根据本发明的实施例,提供一种通过当用于推导出亮度补偿参数的参考位置在多层图像中的子像素位置时使用最接近的整像素来提高编码效率的层间视频编码方法和层间视频编码设备以及层间视频解码方法和层间视频解码设备。

附图说明

图1a是根据本发明的各种实施例的层间视频编码设备的框图。

图1b是根据本发明的各种实施例的层间视频编码方法的流程图。

图2a是根据本发明的各种实施例的层间视频解码设备的框图。

图2b是根据本发明的各种实施例的层间视频解码方法的流程图。

图3是示出根据实施例的层间预测结构的示图。

图4是示出根据实施例的确定亮度补偿参数的方法的示图。

图5a和图5b是示出根据本发明的实施例的确定由视差矢量指示的接近的整像素的示例的示图。

图6a是根据实施例的确定用于推导出亮度补偿参数的参考像素的方法的流程图。

图6b是根据另一实施例的确定用于推导出亮度补偿参数的参考像素的方法的流程图。

图7是根据另一实施例的确定用于推导出亮度补偿参数的参考像素的方法的流程图。

图8是根据一个或更多个实施例的基于根据树结构的编码单元的视频编码设备的框图。

图9是根据一个或更多个实施例的基于具有树结构的编码单元的视频解码设备的框图。

图10是用于描述根据一个或更多个实施例的编码单元的概念的示图。

图11是根据一个或更多个实施例的基于编码单元的图像编码器的框图。

图12是根据一个或更多个实施例的基于编码单元的图像解码器的框图。

图13是示出根据一个或更多个实施例的根据深度的较深层编码单元以及分区的示图。

图14是用于描述根据一个或更多个实施例的编码单元与变换单元之间的关系的示图。

图15是用于描述根据一个或更多个实施例的与深度相应的编码单元的编码信息的示图。

图16是根据一个或更多个实施例的根据深度的较深层编码单元的示图。

图17、图18和图19是用于描述根据一个或更多个实施例的编码单元、预测单元和变换单元之间的关系的示图。

图20是用于描述根据表1的编码模式信息的编码单元、预测单元、和变换单元之间的关系的示图。

图21是根据一个或更多个实施例的存储程序的盘的物理结构的示图。

图22是通过使用盘来记录和读取程序的盘驱动器的示图。

图23是提供内容分配服务的内容供应系统的整体结构的示图。

图24和图25分别是根据一个或更多个实施例的应用了视频编码方法和视频解码方法的移动电话的外部结构和内部结构的示图。

图26是根据一个或更多个实施例的采用通信系统的数字广播系统的示图。

图27是示出根据一个或更多个实施例的使用视频编码设备和视频解码设备的云计算系统的网络结构的示图。

最佳模式

根据本发明的实施例,一种层间视频解码方法包括:确定是否针对通过使用第一层参考块将被重建的第二层当前块执行亮度补偿;基于是否执行亮度补偿,通过使用与相应于针对第二层当前块的参考像素的位置的第一层的参考位置最接近的整像素来确定第一层参考像素;通过使用确定的第一层参考像素和在第二层当前块周围的像素来确定关于第二层当前块的亮度补偿参数。

确定参考像素的步骤包括:获得视差矢量,其中,所述视差矢量指示与将被亮度补偿的第二层当前块的参考像素的位置相应的第一层的参考位置;选择与由获得的视差矢量指示的第一层的参考位置最接近的整像素。

确定参考像素的步骤包括:将获得的视差矢量变换为整数视差矢量;将由整数视差矢量指示的位置确定为参考像素的位置。

将视差矢量变换为整数视差矢量的步骤包括:通过针对由获得的视差矢量指示的第一层的参考位置的坐标执行特定移位运算,将获得的视差矢量变换为指示整像素。

第二层当前块的参考像素是指示第二层当前块的位置的像素。

确定参考像素的步骤包括:将与相应于第二层当前块的左上角的像素的位置的第一层的参考位置最接近的整像素确定为在第一层参考块的左上角的像素的位置;将在确定的第一层参考块周围的像素确定为参考像素。

第二层当前块的参考像素是在第二层当前块周围的像素,在确定第一层参考像素的步骤中,将整像素的位置确定为参考像素的位置。

第二层当前块的参考像素是在第二层当前块周围的像素,确定第一层参考像素的步骤包括:获得与第一层的参考位置接近的至少一个整像素;通过使用获得的至少一个整像素,确定第一层的参考位置的参考像素值。

根据本发明的另一实施例,一种层间视频编码方法包括:确定是否针对通过使用第一层参考块将被重建的第二层当前块执行亮度补偿;如果确定执行亮度补偿,则通过使用与相应于第二层当前块的参考像素的位置的第一层的参考位置最接近的整像素来确定第一层参考像素;通过使用确定的第一层参考像素和在第二层当前块周围的像素来推导出关于第二层当前块的亮度补偿参数。

确定参考像素的步骤包括:获得视差矢量,其中,所述视差矢量指示与将被亮度补偿的第二层当前块的参考像素的位置相应的第一层的参考位置;选择与由获得的视差矢量指示的第一层的参考位置最接近的整像素。

确定参考像素的步骤包括:将获得的视差矢量变换为整数视差矢量;将由整数视差矢量指示的位置确定为参考像素的位置。

第二层当前块的参考像素是指示第二层当前块的位置的像素。

确定参考像素的步骤包括:将与相应于第二层当前块的左上角的像素的位置的第一层的参考位置最接近的整像素确定为在第一层参考块的左上角的像素的位置;将在确定的第一层参考块周围的像素确定为参考像素。

第二层当前块的参考像素是在第二层当前块周围的像素,在确定第一层参考像素的步骤中,将整像素的位置确定为参考像素的位置。

第二层当前块的参考像素是在第二层当前块周围的像素,确定第一层参考像素的步骤包括:获得与第一层的参考位置接近的至少一个整像素;通过使用获得的至少一个整像素,确定第一层的参考位置的参考像素值。

根据本发明的另一实施例,一种层间视频解码设备包括:亮度补偿确定器,确定是否针对通过使用第一层参考块将被重建的第二层当前块执行亮度补偿;参考像素确定器,基于是否执行亮度补偿,通过使用与相应于针对第二层当前块的参考像素的位置的第一层的参考位置最接近的整像素来确定第一层参考像素;亮度补偿参数确定单元,通过使用确定的第一层参考像素和在第二层当前块周围的像素来确定关于第二层当前块的亮度补偿参数。

根据本发明的另一实施例,一种层间视频编码设备包括:亮度补偿确定器,确定是否针对通过使用第一层参考块将被编码的第二层当前块执行亮度补偿;参考像素确定器,基于是否执行亮度补偿,通过使用与相应于第二层当前块的参考像素的位置的第一层的参考位置最接近的整像素来确定第一层参考像素;亮度补偿参数确定单元,通过使用确定的第一层参考像素和在第二层当前块周围的像素来确定关于第二层当前块的亮度补偿参数。

根据本发明的另一实施例,提供一种记录有用于实现根据实施例的方法的计算机程序的非暂时性计算机可读记录介质。

具体实施方式

以下,将参照图1a至图7,将提出根据各种实施例的确定是否基于块特性补偿亮度的层间视频编码方法和层间视频解码方法。此外,参照图8至图20,公开了可应用到层间视频编码方法和层间视频解码方法的根据各种实施例的基于具有树结构的编码结构的视频编码方法和视频解码方法。此外,参照图21至图27,公开了可将视频编码方法和视频解码方法应用到的各种实施例。

以下,术语“图像”可以指视频的静止图像或运动图像(即,视频本身)。

以下,术语“样点”指示被分配到图像的采样位置的数据以及指示将被处理的数据。例如,空间域的图像中,像素可以是样点。

首先,参照图1a至图7,将公开层间视频编码设备和层间视频编码方法以及层间视频解码设备和层间视频解码方法。

图1a是根据本发明的各种实施例的层间视频编码设备10的框图。图1b是根据本发明的各种实施例的层间视频编码方法的流程图。

根据本发明的各种实施例的层间视频编码设备10包括第一层编码器12和第二层编码器14。第二层编码器14可包括亮度补偿确定器16、参考像素确定器17和亮度补偿模式确定器18。亮度补偿确定器16、参考像素确定器17和亮度补偿模式确定器18可被布置在第二层编码器14的外面。

根据本发明的各种实施例的层间视频编码设备10可根据可伸缩视频编码方法,按层对多个图像序列进行分类,对分类的图像序列进行编码,并输出包括针对各个层的编码的数据的独立的流。层间视频编码设备10可将第一层图像序列和第二层图像序列编码为不同层。

第一层编码器12可对第一层图像进行编码,并输出包括第一层图像的编码数据的第一层流。

第二层编码器14可对第二层图像进行编码,并输出包括第二层图像的编码数据的第二层流。

例如,根据基于空间可伸缩性的可伸缩视频编码方法,低分辨率图像可被编码为第一层图像,而高分辨率图像可被编码为第二层图像。对第一层图像编码的结果可被输出为第一层流,而对第二层图像编码的结果可被输出为第二层流。

在另一示例中,可根据可伸缩视频编码方法对多视点视频进行编码。在这种情况下,中心视点图像可被编码为第一层图像,而左视点图像和右视点图像可被编码为参考第一层图像的第二层图像。可选地,如果层间视频编码设备10允许包括第一层、第二层和第三层的三层或更多层,则中心视点图像可被编码为第一层流,左视点图像可被编码为第二层图像。右视点图像可被编码为第三层图像。然而,本发明不受限于此,通过对中心视点图像、左视点图像和右视点图像进行编码而形成的层和将被参考的层可被改变。

在另一示例中,可根据基于时间可伸缩性的时间分层预测来执行可伸缩视频编码方法。可输出包括通过对基本帧率的图像进行编码而产生的编码的数据的第一层流。时间层可按照帧率被分类,并且各个时间层可被编码为各个层。可通过参照基本帧率的图像对高帧率的图像进行进一步编码,从而输出包括关于高速帧率的编码的数据的第二层流。

此外,可针对第一层和多个第二层执行可伸缩视频编码。如果存在三个或更多个第二层,则可对第一层图像、第一第二层图像、第二第二层图像、…、第K第二层图像进行编码。因此,对第一层图像编码的结果可被输出到第一层流,而对第一第二层图像、第二第二层图像、…、第K第二层图像编码的结果可分别输出到第一第二层流、第二第二层流、…、第K第二层流。

根据本发明的各种实施例的层间视频编码设备10可通过参考单个层的图像执行预测当前图像的帧间预测。经由帧间预测,可产生指示关于当前图像与参考图像之间的运动的信息的运动矢量以及当前图像和参考图像之间的残差。

此外,层间视频编码设备10可通过参考第一层图像来执行对第二层图像进行预测的层间预测。

此外,如果根据实施例的视频编码设备10允许三层或更多层(诸如第一层、第二层、第三层),则层间视频编码设备10可根据多层预测结构执行一个第一层图像与第三层图像之间的层间预测以及第二层图像与第三层图像之间的层间预测。

经由层间预测,可产生当前图像和另一层的参考图像之间的位置差以及当前图像和其它层的参考图像之间的残差。

以下将参照图3详细描述层间预测结构。

根据本发明的各种实施例的层间视频编码设备10对视频的每个层的每个图像的块进行编码。块的形状可以是正方形形状、矩形形状或任意几何形状。块不限于具有特定尺寸的数据单元。根据树结构的编码单元之中,块可以是最大编码单元(LCU)、编码单元、预测单元、变换单元等。包括根据树结构的编码单元的LCU可被称为编码树单元、编码块树、块树、根块树、编码树、编码根、树干等。以下将参照图8至图20描述根据树结构的基于编码单元的视频编码和解码方法。

也可基于诸如编码单元、预测单元或变换单元的数据单元执行帧间预测和层间预测。

根据本发明的各种实施例的第一层编码器12可通过针对第一层图像执行包括帧间预测或帧内预测的源编码操作以产生符号数据。符号数据是指各个编码参数的样值和残差的样值。

例如,第一层编码器12可通过对第一层图像的数据单元的样点执行帧间预测或帧内预测、变换和量化来产生符号数据,并且通过针对符号数据执行熵编码来产生第一层流。

第二层编码器14可基于根据树结构的编码单元对第二层图像进行编码。第二层编码器14可通过对第二层图像的数据单元的样点执行帧间或帧内预测、变换和量化来产生符号数据,并且通过针对符号数据执行熵编码来产生第二层流。

根据本发明的各种实施例的第二层编码器14可通过使用第一层图像的重建样点执行对第二层流进行估计的层间预测。为了经由层间预测结构对来自第二层图像序列的第二层原始图像进行编码,第二层编码器14可通过使用第一层重建图像产生第二层预测图像,并且对第二层原始图像与第二层预测图像之间的预测误差进行编码。

第二层编码器14可按块(诸如编码单元或预测单元)针对第二层图像执行层间预测。第一层图像的将由第二层图像的块参考的块可被确定。例如,可确定第一层图像的与第二层图像中的当前块的位置相应地被定位的重建块。第二层编码器14可通过使用与第二层块相应的第一层重建块来确定第二层预测块。

第二层编码器14可将根据层间预测结构通过使用第一层重建块确定的第二层预测块用作对第二层原始块进行层间预测的参考图像。第二层编码器14可对第二层预测块的样值与第二层原始块的样值之间的误差(即,根据层间预测的残差)进行转换和量化,从而对误差执行熵编码。

如上所述,第二层编码器14可通过经由层间预测结构参考第一层重建图像来对当前层图像序列进行编码。然而,根据本发明的各个实施例的第二层编码器14可在不参考其它层的样点的情况下,能够根据单层预测结构对第二层图像序列进行编码。因此,不应限制性地理解为:第二层编码器14仅执行对第二层图像序列进行编码的层间预测。

如果层间视频编码设备10如上所述对多视点视频进行编码,则第一层编码器12可对第一视点视频进行编码,而第二层编码器14可对第二视点视频进行编码。可经由不同相机捕捉或可经由不同镜头获得各个视点的视频。由于捕捉装置(相机、镜头)的捕捉角度、照度或特性会在视点之间彼此不同,因此,在不同视点的视频获得的亮度可能会彼此不匹配。这种照度不匹配可能与各个视点的视频的样值之间的差有关。

如果各个视点的视频的亮度彼此不一致,则层间预测误差变大,因此,编码效率会下降。因此,考虑到视点之间的亮度不一致,层间视频编码设备10的第二层编码器14可对各个视点的视频之间的亮度差进行补偿和编码。例如,由第一层编码器12编码的第一视点图像与由第二层编码器14编码的第二视点图像之间的亮度差可被编码。由于第二视点图像相对于第一视点图像的亮度差被编码,所以当第二层编码器14对第二视点视频进行编码时可执行亮度补偿。

为了补偿第一层块与第二层块之间的亮度差,可使用亮度补偿参数。例如,如以下等式1所示,可获得通过使用比例系数a和偏移量b来针对与另一层相应的当前块的像素P执行亮度补偿的结果P'。

[等式1]

P^'=a×P+b

用于补偿块之间的亮度差的包括比例系数a和偏移量的亮度补偿参数可被包括在比特流中并被发送,或者可通过使用在第二层当前块周围的像素值和在与第二层当前块相应的第一层重建块周围的像素值来推导出所述亮度补偿参数。

顺便提及,为了推导出根据实施例的亮度补偿参数,需要获得在与第二层当前块相应的第一层重建块周围的像素。在此,可使用视差矢量找到与第二层当前块相应的第一层重建块。在此,视差矢量可被包括在比特流中并被发送,或者可从其它编码信息推导出所述视差矢量。

然而,由于视差矢量可呈现出小数单位的精确度(诸如,四分之一像素或二分之一像素),因此,在第二层当前块的位置由视差矢量指示的位置可以是子像素的位置。然而,为了减小亮度补偿的复杂度,按照整像素对第二层当前块周围的像素与第一层参考块周围的像素进行比较,因此,第一层参考块的位置应被确定为整像素的位置。

因此,根据实施例的层间视频编码设备10可通过使用与相应于针对第二层当前块的位置的参考像素的位置的第一层重建图像的参考位置最接近的整像素来确定第一层参考像素,其中,第一层参考像素用于推导出亮度补偿参数。

例如,层间视频编码设备10可将与相应于第二层当前块的位置的第一层重建图像的参考位置最接近的整像素的位置确定为参考块的位置,并可将参考块周围的块确定为用于推导出亮度补偿参数的第一层参考像素。

在另一示例中,层间视频编码设备10可将与相应于第二层当前块周围的像素的位置的第一层重建图像的参考位置最接近的整像素确定为用于推导出亮度补偿参数的第一层参考像素。

以下,将参照图1B来详细描述用于确定亮度补偿参数的层间视频编码设备10的操作。

图1b是根据本发明的各种实施例的层间视频编码方法的流程图。

在操作11,亮度补偿确定器16可确定是否针对通过使用第一层参考块将被重建的第二层当前块执行亮度补偿。

由于在层间预测结构中预测出层之间的残差,所以用于预测层之间的亮度差的操作会增加运算量。因此,根据实施例的亮度补偿确定器16可考虑到特定数据单元(诸如,当前图像的块或条带)的特性,确定是否执行亮度补偿。

在操作13,参考像素确定器17可通过使用与相应于针对第二层当前块的参考像素的位置的第一层的参考位置最接近的整像素的位置来确定第一层参考像素。在此,以下将参照图5a和图5b详细地描述使用与第一层的参考位置最接近的整像素的位置的应用。

根据实施例,参考像素确定器17可将与相应于第二层当前块的位置的第一层重建图像的参考位置最接近的整像素的位置确定为参考块的位置并且将参考块周围的块确定为用于推导出亮度补偿参数的第一层参考像素。

换句话说,第二层当前块的参考像素可以是指示第二层当前块的位置的像素。例如,指示第二层当前块的位置的像素可以是在第二层当前块的左上角的像素。因此,参考像素确定器17可将与在第二层当前块的左上角的像素的位置相应的第一层的参考位置最接近的整像素确定为在第一层参考块的左上角的像素的位置。然而,指示当前块的位置的像素不限于在左上角的像素,可以是当前块的中心像素或者是在当前块的其它角的像素。

根据另一实施例,参考像素确定器17可将与相应于第二层当前块周围的像素的位置的第一层重建图像的参考位置最接近的整像素确定为用于推导出亮度补偿参数的第一层参考像素。

换句话说,第二层当前块的参考像素可以是第二层当前块周围的像素。因此,参考像素确定器17可将与第一层的参考位置最接近的整像素确定为参考像素。

根据另一实施例,参考像素确定器17可获得与第一层的参考位置最接近的至少一个整像素并通过使用获得的至少一个整像素来确定第一层的参考位置的参考像素值。例如,如果第一层的参考位置是子像素位置,则可通过使用插值滤波器来推导出参考位置的像素值,并且推导出的值可用作第一层的参考位置的参考像素值。

在操作15,亮度补偿模式确定器18可通过使用确定的第一层参考像素和在第二层当前块周围的像素来确定亮度补偿参数。

因此,第二层编码器14可产生包括第二层块与第一层参考块之间的层间预测信息的第二层比特流,其中,第二层块具有基于关于是否执行亮度补偿的信息确定的亮度和确定的亮度补偿参数。

第二层编码器14可对亮度补偿确定器16确定的指示是否针对当前块执行亮度补偿的信息以及用于确定亮度补偿参数的视差矢量编码为比特流,并发送该比特流。此外,如果指示是否执行亮度补偿的信息和用于确定亮度补偿参数的视差矢量可基于现有的编码信息被确定,则第二层编码器14可以不发送指示是否执行亮度补偿的信息和用于确定亮度补偿参数的视差矢量。

当考虑第一层图像来调整第二层图像的亮度时,第二层图像与第一层图像之间的误差进一步减小,因此,层间预测的编码效率会提高。此外,根据对块进行编码的模式,在具体编码模式下可普遍进行亮度补偿。

根据本发明的各种实施例的层间视频编码设备10可包括中央处理器(未示出),其中,该中央处理器控制第一层编码器12、第二层编码器14、亮度补偿确定器16、参考像素确定器17和亮度补偿模式确定器18。可选地,第一层编码器12、第二层编码器14、亮度补偿确定器16、参考像素确定器17和亮度补偿模式确定器18可被它们各自的处理器(未示出)操作,其中,层间视频编码设备10可根据这些处理器(未示出)彼此结合进行操作而被操作。可选地,第一层编码器12、第二层编码器14、亮度补偿确定器16、参考像素确定器17和亮度补偿模式确定器18可被层间视频编码设备10外面的外部处理器(未示出)控制。

层间视频编码设备10可包括用于存储输入到第一层编码器12、第二层编码器14、亮度补偿确定器16、参考像素确定器17和亮度补偿模式确定器18的数据以及从第一层编码器12、第二层编码器14、亮度补偿确定器16、参考像素确定器17和亮度补偿模式确定器18输出的数据的一个或更多个数据存储单元(未示出)。层间视频编码设备10可包括管理数据存储单元(未示出)的数据输入/数据输出的存储器控制器(未示出)。

为了输出对视频编码的结果,层间视频编码设备10可与嵌入的视频编码处理器或外部视频编码处理器结合地操作,从而执行包括变换的视频编码操作。层间视频编码设备10的内部视频编码处理器可以是用于实施视频编码操作的独立处理器。此外,层间视频编码设备10、中央处理器或图形处理器可包括用于实现基本视频编码操作的视频编码处理模块。

图2a是根据本发明的各种实施例的层间视频解码设备20的框图。

根据本发明的各种实施例的层间视频解码设备20可包括第一层解码器22和第二层解码器24。第二层解码器24可包括亮度补偿确定器26、亮度补偿确定器26和亮度补偿模式确定器28。根据另一实施例,亮度补偿确定器26、参考像素确定器27和亮度补偿模式确定器28可位于亮度补偿确定器26的外面。

层间视频解码设备20可根据可伸缩视频编码方法,按层接收比特流。不限制由层间视频解码设备20接收的比特流的层数。然而,为了便于解释,以下将详细描述层间视频解码设备20的第一层解码器22接收第一层流并对第一层流进行解码以及第二层解码器24接收第二层流并对第二层流进行解码的实施例。

例如,基于空间可伸缩性的层间视频解码设备20可接收不同分辨率的图像序列被分别编码为不同层的流。低分辨率图像序列可通过对第一层流解码被重建,而高分辨率图像可通过对第二层流解码被重建。

在另一示例中,可根据可伸缩视频解码方法来对多视点视频进行解码。如果立体视频流作为多个层被接收,则可通过对第一层流解码来重建左视点图像。可通过对第一层流和第二层流进行解码来重建右视点图像。

可选地,如果多视频视频流作为多个层被接收,则可通过对第一层流进行解码来重建中心视点图像。通过对第一层流和第二层流进行解码来重建左视点图像。通过对第一层流和第三层流进行解码来重建右视点图像。

在另一示例中,可执行基于时间伸缩性的可伸缩视频编码方法。可通过对第一层流进行解码来重建基本帧率的图像。可通过对第一层流和第二层流进行解码来重建高帧率的图像。

此外,如果存在三个或更多个第二层,则可从第一层流重建第一层图像,并且可通过参考第一层重建图像对第二层流进行解码来进一步重建第二层图像。可通过参考第二层重建图像对第K层流进行解码来进一步重建第K层图像。

层间视频解码设备20可从第一层流和第二层流获得第一层图像和第二层图像的编码数据,并可进一步获得基于帧间预测产生的运动矢量和基于层间预测产生的预测信息。

例如,层间视频解码设备20可对针对各个层被帧间预测的数据进行解码,并可对在多个层之间被层间预测的数据进行解码。可基于编码单元或预测单元执行基于层间解码的运动补偿或重建。

通过参考通过同一层的帧间预测而预测的重建图像对当前图像执行运动补偿,可从每个层流重建图像。运动补偿是指通过将使用当前图像的运动矢量确定的参考图像与当前图像的残差进行合成来对当前图像的重建图像进行重建的操作。

另外,层间视频解码设备20可通过参考第一层图像来执行层间解码,以便对经由层间预测而被预测的第二层图像进行。层间解码是指通过将被确定用于预测当前图像的另一层的参考图像与当前图像的残差合成来对当前图像的重建图像进行重建的操作。

根据实施例的层间视频解码设备20也可执行用于对参考第二层图像而预测的第三层图像进行重建的层间解码。以下将参照图3给出层间预测结构的详细描述。

然而,根据本发明的各种实施例的第二层解码器24可在不参考第一层图像序列的情况下能够对第二层流进行解码。因此,不应限制性地理解为:第二层解码器24执行对第二层图像序列进行解码的层间预测。

层间视频解码设备20在每一层对视频的每个图像的块进行解码。块可以是根据树结构的编码单元之中的LCU、编码单元、预测单元、变换单元等。

层间视频解码设备20可通过使用解析出的第一层图像的编码符号来对第一层图像进行解码。如果层间视频解码设备20接收基于根据树结构的编码单元而编码的流,则第一层解码器22可针对第一层流的每个LCU,基于根据树结构的编码单元来执行解码。

第一层解码器22可针对每个LUC执行熵解码,并获得编码信息和编码的数据。第一层解码器22可通过针对从流获得的编码的数据执行反量化和逆变换以重建残差。根据另一实施例的第一层解码器22可直接接收量化后的变换系数的比特流。通过针对量化后的变换系数执行反量化和逆变换来重建图像的残差。

第一层解码器22可经由同一层图像之间的运动补偿来确定预测的图像,并将预测的图像与残差合成来重建第一层图像。

第二层解码器24可根据层间预测结构通过使用第一层重建图像的样点来产生第二层图像。第二层解码器24可基于层间预测通过对第二层流进行解码来获得预测误差。第二层解码器24可通过将第二层预测图像和预测误差合成来产生第二层重建图像。

第二层解码器24可通过使用由第一层解码器22解码的第一层重建图像来确定第二层预测图像。第二层解码器24可根据层间预测结构确定第一层图像之中的由第二层图像中的诸如编码单元或预测单元的块将参考的块。例如,可确定第一层图像之中的与第二层图像中的当前块的位置相应地被定位的重建块。第二层解码器24可通过使用与第二层块相应的第一层重建块来确定第二层预测块。

第二层解码器24可将根据层间预测结构将通过使用第一层重建块确定的第二层预测块用作用于第二层原始块的层间预测的参考图像。在这种情况下,第二层解码器24可通过将使用第一层重建图像确定的第二层预测块的样值与根据层间预测的残差合成来重建第二层块。

根据空间可伸缩视频编码,如果第一层解码器22对分辨率与第二层图像的分辨率不同的第一层图像进行重建,则第二层解码器24可对第一层重建图像进行插值以将第一层重建图像的尺寸调整为具有与第二层原始图像的分辨率相同的分辨率。插值后的第一层重建图像可被确定为用于层间预测的第二层预测图像。

因此,层间视频解码设备20的第一层解码器22可通过对第一层流进行解码来重建第一层图像序列,而第二层解码器24可通过对第二层流进行解码来重建第二层图像序列。

另外,考虑到视点之间的亮度不一致,层间视频解码设备20的第二层解码器24可对各个视点的视频之间的亮度差进行补偿并重建各个视点的视频。例如,可从比特流获得由第一层解码器22解码的第一视点图像与由第二层解码器24解码的第二视点图像之间的亮度差。由于第二视点图像相对于第一视点图像的亮度差被获得,所以当第二层解码器24对第二视点视频进行编码时可确定是否执行亮度补偿操作。

根据实施例的层间视频解码设备20可使用用于补偿第一层块与第二层块之间的亮度差的亮度补偿参数。因此,根据实施例的层间视频解码设备20可通过使用与相应于第二层当前块的参考像素的位置的第一层重建图像的参考位置最接近的整像素,来确定用于推导出亮度补偿参数的第一层参考像素。

以下,将参照图2b给出考虑到亮度补偿的层间视频解码设备20的操作的详细描述。

图2b是根据本发明的各种实施例的层间视频解码方法的流程图。

在操作21,亮度补偿确定器26可确定是否针对通过使用第一层参考块将被重建的第二层当前块执行亮度补偿。

在此,可通过使用从接收的比特流或其它编码信息获得的语法来确定是否针对第二层当前块执行亮度补偿。

在操作23,参考像素确定器27可基于是否执行亮度补偿,通过使用与相应于第二层当前块的参考像素的位置的第一层的参考位置最接近的整像素的位置来确定第一层参考像素。在此,以下将参照图5a和图5b详细地描述使用与第一层的参考位置最接近的整像素的位置的应用。

此外,可使用视差矢量来找到与第二层当前块相应的第一层的参考位置。在此,可从接收的比特流获得的视差矢量或可从其它编码信息推导出视差矢量。

根据实施例,参考像素确定器27可将与相应于第二层当前块的位置的第一层重建图像的参考位置最接近的整像素的位置确定为参考块的位置并且将参考块周围的块确定为用于推导出亮度补偿参数的第一层参考像素。

换句话说,第二层当前块的参考像素可以是指示第二层当前块的位置的像素。例如,指示第二层当前块的位置的像素可以是在第二层当前块的左上角的像素。因此,参考像素确定器27可将相应于在第二层当前块的左上角的像素的位置相应的第一层的参考位置最接近的整像素确定为在第一层参考块的左上角的像素的位置。然而,指示当前块的位置的像素不限于在左上角的像素,可以是当前块的中心像素或者是在当前块的其它角的像素。

根据另一实施例,参考像素确定器27可将与相应于第二层当前块周围的像素的位置的第一层重建图像的参考位置最接近的整像素确定为用于推导出亮度补偿参数的第一层参考像素。

换句话说,第二层当前块的参考像素可以是第二层当前块周围的像素。因此,参考像素确定器27可将与第一层的参考位置最接近的整像素确定为参考像素。

根据另一实施例,参考像素确定器27可获得与第一层的参考位置接近的至少一个整像素并通过使用获得的至少一个整像素来确定第一层的参考位置的参考像素值。例如,如果第一层的参考位置是子像素位置,则可通过使用插值滤波器来推导出参考位置的像素值,并且推导出的值可用作第一层的参考位置的参考像素值。

在操作25,亮度补偿模式确定器28可通过使用确定的第一层参考像素和在第二层当前块周围的像素来确定亮度补偿参数。

如上所述,第二层解码器24可接收指示是否执行亮度补偿的信息并确定是否执行亮度补偿。当亮度补偿被执行时,第二层解码器24可确定亮度补偿参数。因此,第二层解码器24可使用基于指示是否执行亮度补偿的信息和确定的亮度补偿参数而补偿的亮度来重建第二层块。

根据本发明的各种实施例的层间视频解码设备20可包括中央处理器(未示出),其中,该中央处理器控制第一层解码器22、第二层解码器24、亮度补偿确定器26、参考像素确定器27和亮度补偿模式确定器28。可选地,第一层解码器22、第二层解码器24、亮度补偿确定器26、参考像素确定器27和亮度补偿模式确定器28可被它们各自的处理器(未示出)操作,其中,层间视频解码设备20可根据这些处理器(未示出)彼此结合进行操作而被操作。可选地,第一层解码器22、第二层解码器24、亮度补偿确定器26、参考像素确定器27和亮度补偿模式确定器28可被层间视频解码设备20外面的外部处理器(未示出)控制。

层间视频解码设备20可包括用于存储输入到第一层解码器22、第二层解码器24、亮度补偿确定器26、参考像素确定器27和亮度补偿模式确定器28的数据以及从第一层解码器22、第二层解码器24、亮度补偿确定器26、参考像素确定器27和亮度补偿模式确定器28输出的数据的一个或更多个数据存储单元(未示出)。层间视频解码设备20可包括管理数据存储单元(未示出)的数据输入/数据输出的存储器控制器(未示出)。

为了对视频解码,层间视频解码设备20可与嵌入的视频解码处理器或外部视频解码处理器结合地操作,从而执行包括逆变换的视频解码操作。层间视频解码设备20的嵌入的视频解码处理器可以是用于实施视频解码操作的独立处理器。此外,层间视频解码设备20、中央处理器或图形处理器可包括用于实现基本视频编码操作的视频解码处理模块。

参照图2a和图2b,在层间视频解码设备20对第二层图像进行解码的同时层间视频解码设备20针对特定类型块或条带,对不同层的图像之间的亮度差或视点之间的亮度差进行补偿,第一层重建图像的亮度和第二层重建图像的亮度会变得一致。参照图1a和图1b,层间视频解码设备10针对特定类型块或条带,执行不同层的图像之间的亮度补偿,因此,在预测图像与原始图像之间的残差会减小。因此,会提高编码效率。

此外,当用于推导出亮度补偿参数的参考位置在子像素位置时,可选择与该子像素位置最接近的整像素,从而提高编码效率。

图3是根据实施例的层间预测结构的示图。

根据实施例的层间视频编码设备10可根据图3示出的多视点视频预测结构的再现顺序30来对基本视点图像、左视点图像和右视点图像进行预测编码。

根据现有技术的多视点视频预测结构的再现顺序30,相同视点的图像可被布置在水平方向上。因此,标记为“左”的左视点图像可沿水平方向被线性布置,标记为“右”的右视点图像可沿水平方向被线性布置。基本视点图像可以是相对于左视点图像/右视点图像的中心视点图像。

此外,具有相同POC顺序的图像可沿垂直方向被布置。图像的POC顺序指示再现构成视频的图像的顺序。在多视点视频预测结构30中标记的“POCX”是指关于位于相应列中的图像的相对再现顺序,其中,再现顺序的优先级随数字X的减小而提高,再现序列的优先级随数字X的增大而降低。

因此,根据现有技术的多视点视频预测结构的再现顺序30,标记为“左”的左视点图像可根据POC顺序(再现顺序)沿水平方向被布置,被标记为“中心”的基本视点图像可根据POC顺序(再现顺序)沿水平方向被布置,标记为“右”的右视点图像可根据POC顺序(再现顺序)沿水平方向被布置。此外,布置在与基本视点图像的列相同的列中的左视点图像和右视点图像是与不同视点相应的图像,但是相同的POC的图像。

四个连续图像在每个视点构成单个画面组(GOP)。每个GOP包括连续关键画面(keypicture)与单个关键画面之间的图像。

关键画面是随机访问点。在视频再现期间,当从根据再现顺序(即,根据POC熟悉怒)布置的图像中选择随机再现位置时,具有与再现位置最接近的POC顺序的关键画面被再现。基本视点图像包括基本视点关键画面31、32、33、34和35,左视点图像包括左视点关键画面131、132、133、134和135,右视点图像包括右视点关键画面231、232、233、234和235。

可根据GOP顺序再现并预测(重建)多视点图像。首先,根据多视点视频预测结构的再现顺序30,针对每个视点,包括在GOP0中的图像可先被再现,随后包括在GOP1中的图像可被再现。换句话说,可按照GOP0、GOP1、GOP2和GOP3的顺序来再现包括在各个GOP中的图像。此外,根据多视点视频预测结构的编码顺序,针对每个视点,包括在GOP0中的图像先被预测(重建),并随后包括在GOP1中的图像可被预测(重建)。换句话说,可按照GOP0、GOP1、GOP2和GOP3的顺序来预测(重建)包括在各个GOP中的图像。

根据多视点视频预测结构的再现顺序30,可针对图像执行视点间预测(层间预测)和帧内预测两者。在多视点视频预测结构中,箭头开始的图像是参考图像,而箭头结束的图像是通过使用参考图像而预测的图像。

预测基本视点图像的结果可被编码,并以基本视点图像流的形式被输出,而预测附加视点图像的结果可被编码,并以层比特流的形式被输出。另外,对左视点图像进行预测编码的结果可被输出为第一层比特流,而对右视点图像进行预测编码的结果可被输出为第二层比特流。

针对基本视点图像仅执行帧间预测。换句话说,I画面类型关键画面31、32、33、34和35在不参考其它图像的情况下被预测,而作为B画面类型图像和b画面类型图像的其它图像通过参考其它基本视点图像被预测。B画面类型图像通过参考具有较高优先级的POC顺序的I画面类型关键画面和随后的I画面类型关键画面而被预测。b画面类型图像通过参考具有较高优先级的POC顺序的I画面类型关键画面和随后的B画面类型图像或者通过参考具有较高优先级的POC顺序的B画面类型关键画面和随后的I画面类型图像而被预测。

针对左视点图像和右视点图像执行参考不同视点图像的视点间预测(层间预测)和参考相同视点图像的帧间预测。

可通过参考具有相同POC顺序的基本视点关键画面31、32、33、34和35分别针对左视点关键画面131、132、133、134和135执行视点间预测(层间预测)。可通过参考具有相同POC顺序的基本视点关键画面31、32、33、34和35或具有相同POC顺序的左视点关键画面131、132、133、134和135分别针对右视点关键画面231、232、233、234和235执行视点间预测。此外,可针对对左视点图像和右视点图像之中的除了关键画面131、132、133、134、135、231、232、233、234和235之外的图像执行参考具有相同POC顺序的其它视点图像的视点间预测(层间预测)。

左视点图像和右视点图像之中的除了关键画面131、132、133、134、135、231、232、233、234和235之外的图像可通过参考相同视点图像被预测。

然而,左视点图像和右视点图像中的每一个可不参考相同视点的附加视点图像之中的在前再现顺序的关键画面而被预测。换句话说,为了对当前左视点图像进行帧间预测,可参考除了再现顺序在当前左视点图像的再现顺序之前的左视点关键画面之外的左视点图像。同样,为了对当前右视点图像进行帧间预测,可参考除了再现顺序在当前右视点图像的再现顺序之前的右视点关键画面之外的右视点图像。

此外,为了对当前左视点图像进行帧间预测,可不参考属于在包括当前左视点图像的当前GOP之前的GOP的左视点图像,并且可以通过参考属于当前GOP的左视点图像并将在当前左视点图像之前被重建的左视点图像,来执行预测。这同样应用在右视点图像。

根据实施例的层间视频解码设备20可根据图3中示出的多视点视频预测结构的再现顺序30来对基本视点图像、左视点图像和右视点图像进行重建。

经由参考基本视点图像的视点间视差补偿和参考左视点图像的视点间运动补偿来重建左视点图像。经由参考基本视点图像视点间视差补偿和参考右视点图像的图像间运动补偿来重建右视点图像。为了进行左视点图像和右视点图像的视差补偿和运动补偿,需要先重建参考图像。

为了对左视点图像进行运动补偿,可经由参考重建的左视点参考图像的图像间运动补偿来重建左视点图像。为了对右视点图像进行运动补偿,可经由参考重建的右视点参考图像的图像间运动补偿来重建右视点图像。

此外,为了对当前左视点图像进行运动补偿,可不参考属于在包括当前左视点图像的当前GOP之前的GOP的左视点图像,并且可参考属于当前GOP并且将在当前左视点图像之前重建的左视点图像,来执行运动补偿。这同样应用在右视点图像。

如上所述,当用于推导出亮度补偿参数的参考位置在子像素位置时,层间视频编码设备10和层间视频解码设备20可选择与该子像素位置最接近的整像素,从而提高编码效率。

此外,如上所述,层间视频编码设备10和层间视频解码设备20可根据图像特性确定是否执行亮度补偿。例如,可确定是否针对根据关于块的经由率失真优化确定的编码模式、预测方向和编码类型的块执行亮度补偿。

以下,参照图4至图7,将提出根据本发明的各种实施例的确定亮度补偿参数的方法。

将参照图4来描述通过使用当前块周围的像素与参考块周围的像素推导出亮度补偿参数的实施例,将参照图5a至图6b来描述确定用于推导出亮度补偿参数的参考像素的实施例。

图4是示出根据实施例的确定亮度补偿参数的方法的示图。

根据实施例的层间视频解码设备20可获得针对每个编码单元的关于是否执行亮度补偿的标记信息,并确定关于各个色彩元素Y、U和V在针对每个编码单元的每个预测单元的每个预测方向上的亮度补偿参数。在此,亮度补偿参数可基于当前块周围的像素和在与当前块相应的另一层上的块周围的像素而被确定。换句话说,亮度补偿参数可通过将第一层的参考块周围的像素与第二层的当前块周围的像素进行比较而被确定。在此,当前块周围的像素是指在当前块的重建之前被重建并可使用的当前块周围的像素。因此,如果当前块的周围的像素不可以使用时,则不能推导出亮度补偿参数。

参照图4,可通过使用第二层当前块40周围的像素42和在与第二层当前块40相应的第一层参考块45周围的参考像素47来推导出亮度补偿参数。例如,在周围像素42与参考像素47之间的平均亮度差可被确定为偏移量,因此,可根据确定的偏移量对第二层当前块40执行亮度补偿。在另一示例中,可经由关于周围像素42与参考像素47的线性回归分析来推导出比例系数和偏移量,然后基于获得的值来执行亮度补偿。

顺便提及,为了确定亮度补偿参数,需要找到与第二层当前块40相应的另一层参考块45,这可利用视差矢量。在此,视差矢量是指指示第二层当前块与第一层参考块之间的位置差的矢量。

然而,由于视差矢量可呈现出小数单位的精确度(诸如,四分之一像素或二分之一像素),因此,由视差矢量在第二层当前块40的参考像素41的位置所指示的位置可以是子像素的位置。然而,为了减小亮度补偿的复杂度,按照整像素对第二层当前块周围的像素与在第一层参考块周围的像素进行比较,因此,参考块45的位置应被确定为整像素的位置。

因此,根据实施例的层间视频编码设备10和层间视频解码设备20可将与由视差矢量在当前块40的参考像素41指示的另一层图像的参考位置最接近的整像素确定为第一层参考块45的参考像素46。

例如,图5a和图5b示出根据本发明的实施例的确定由视差矢量指示的接近的整像素的示例。

在图5a和图5b中,A、B、C和D表示整像素的位置,小写字母a至o分别表示子像素位置。

参照图5a,根据实施例,如果视差矢量指示在左上区域50中的子像素位置a、d和e,则可确定子像素位置a、d和e与整像素位置A相应。同样地,在右上区域51中的子像素位置b、c、f和g可被确定为整像素位置B,在左下区域52中的子像素位置l、m和n可被确定为整像素位置C,在右下区域53中的子像素位置j、k、n和o可被确定为整像素位置D。当然,如果视差矢量指示整像素位置,则相应整像素位置可被确定为与该视差矢量相应的位置。

在另一示例中,参照图5b,如果视差矢量指示在左上区域54中的子像素位置a、b、d、e、f、h、i和j,则可确定子像素位置a、b、d、e、f、h、i和j与整像素位置A相应。同样地,在右上区域55中的子像素位置c、g和k可被确定为整像素位置B,在左下区域56中的子像素位置l、m和n可被确定为整像素位置C,在右下区域57中的子像素位置o可被确定为整像素位置D。换句话说,与视差矢量指示特定子像素时所匹配的整像素位置不限于图5a和图5b中所示出的那些,可对其进行各种修改。

顺便提及,如以上参照图5a所示,可将由视差矢量在针对当前块的参考像素41的位置所指示的位置匹配到整像素位置的方法表示为以下示出的伪码。在以下示出的伪码中,mvLX[0]和mvLX[1]表示视差矢量的x分量和y分量,xC和yC表示当前块的位置坐标,其中,cIdx可表示Y分量或深度图(当cIdx的值为0时),可表示U分量(当cIdx的值为1时),或者可表示V分量(当cIdx的值为2时)。此外,由于亮度块的尺寸与色度块的尺寸不同,所以在亮度块中的整像素之间的距离与在色度块中的整像素之间的距离不同。因此,通过使用条件语句“cIdx?4:2”,视差矢量指示子像素时将该子像素匹配到整像素的方法会基于块是亮度块还是色度块而不同。

金鼎工业资源网-版权所有
成都运营中心
Tel:028-87023516   Mob(+86) 18980857561 /18190762281
中国 成都 高新区创业路18号
电邮:853136199@qq.com