内容简介
在视频制作技术和显示技术都突飞猛进的大环境下，视频编码作为视频应用的关键技术之一，面临着越来越大的压力。目前已发布的高性能视频编码标准（High Efficiency Video Coding，HEVC）相比上一代视频编码标准H.264/AVC在同等视频质量下能够降低50%左右的码率，可以在一定程度上缓解视频编码技术目前面临的压力。从应用的角度讲，HEVC作为要在实际网络通信中使用的视频压缩编码技术，人们总希望其压缩效率能进一步提升。因此，如何在HEVC的基础上充分利用现有视频传输的带宽及进一步提升压缩效率，是业界需要不断面对的问题。另外，H.264/AVC是目前全世界应用最广泛的视频编码技术，为了共享已有的视频资源，从H.264/AVC到HEVC的视频格式转码技术也是研究的一个热点方向。《视频压缩效率提升技术》针对以上问题分别研究了结合HEVC的视频编码框架压缩效率提升和HEVC码率控制问题，同时还提出了一种H.264/AVC到HEVC的转码算法。
精彩书摘
第一章 绪论
第一节 研究背景与意义
近些年来，网络和多媒体通信技术发展迅猛，多媒体信息已经渗透到教育、文娱、商业、通信等生产、生活的方方面面。随着计算机网络及无线网络的普及，相比于文字和图片，视频因其生动、直观的特点，更加受到人们的青睐，因此被广泛用于智慧城市、安防监控、智能交通、视频直播等诸多领域。但随着视频帧率和分辨率的持续增长，目前网络中用于视频存储的设备和传输视频的网络带宽面临越来越严峻的考验。因此，凸显了一个需求是由于受到移动多媒体设备能力不足或通信带宽的限制，视频序列的传输往往会牺牲一定的视频质量。想要在有限的信道带宽限制条件下尽可能提升视频用户的观看体验，最有效的解决办法一般为2种：一种方式是在现有的视频编码标准的条件下尽可能有效利用现有视频传输带宽；另一种方式是使用新技术进一步提升视频压缩编码的效率。
经过几十年的发展，各种图像、视频编解码标准中的核心技术和框架都基本成熟，如主要对静止图像进行压缩的JPEG、JPEG2000标准和主要对视频序列进行压缩的H.264/AVC、HEVC标准等。以即将进入实用阶段的HEVC标准为例，该标准与H.264/AVC相比，在保证视频质量相同的条件下，HEVC压缩率提高了1倍，但人们对视频压缩效率提升的研究是孜孜不倦的。因此，如何利用其他的技术来进一步提升基于HEVC的视频压缩率，就成为研究的方向之一。超分辨率重建技术能够有效利用信号处理技术，在不改变成像系统硬件设备的前提下，提升图像和视频的分辨率，节省替换成像设备的成本，因此这种技术成为图像处理领域的热点研究方向，并广泛应用到社会生产和国防军事领域，如医学图像、卫星遥感、视频监控、视频格式转换等。随着超分辨率技术的发展，目前国内外一些研究所及院校都有相关学者尝试利用其优势，将超分辨率重建技术运用到传统图像及视频压缩编码算法中，提出了结合超分辨率重建的图像和视频编解码方案，以取得更高的压缩效率。其思想为在编码端通过下采样降低视频的空/时域信息，然后对满足信道带宽的低码率视频在解码端利用空/时域超分辨技术进行重建，就是其中一个研究热点。
由上述可知，通过超分辨技术可在信道传输能力不足的前提下，提高视频编码标准的压缩率。但仍存在一个问题，那就是如何在给定带宽的限制下，充分利用现有实际通信网络的传输能力来提升编码后视频的质量。码率控制技术是针对这一问题的解决方案之一。码率控制就是对不同的码率控制单位分配最佳的数据量，这些分配的数据再通过自适应选择最优的量化参数来实现。因此，码率控制技术可以有效提升视频传输时带宽的利用率。然而，随着面向高清视频的HEVC标准的快速发展，其灵活的编码结构对码率控制技术的要求越来越高。虽然HEVC较之前的H.264/AVC标准的压缩效率大大提升，但如果没有相匹配的码率控制算法对这些比特进行合理分配，则可能会明显降低接收端解码视频的观看质量。因此，如何利用码率控制技术，提升HEVC编码后码流充分利用传输带宽的能力，也是行业研究热点。
……
目录
第一章 绪论 001
第一节 研究背景与意义 001
第二节 视频标准简介 004
一、H.26X系列标准 004
二、MPEG系列标准 005
第三节 HEVC视频编码标准 005
一、预测编码 006
二、变换与量化 007
三、熵编码 007
第四节 超分辨率重建技术概述 008
一、时域超分辨算法 009
二、空域超分辨算法 012
第五节 研究现状 015
第六节 各章主要内容 024
第二章 结合时域超分辨率与HEVC编码信息的视频编码算法 027
第一节 引言 027
第二节 编码端自适应帧抽取算法 028
第三节 基于HEVC运动估计信息的帧恢复策略研究 030
一、HEVC中的运动估计 030
二、基于HEVC运动估计信息的运动补偿插帧 032
第四节 结合FRUC与HEVC标准的新型视频压缩编码算法 034
一、运动矢量分类 034
二、不可靠MV块的融合 038
三、基于多连续帧的双向运动估计算法 040
四、运动矢量平滑 042
五、自适应块覆盖运动补偿插帧 043
六、闭塞区域的处理 046
七、本章算法具体流程 048
第五节 实验结果和分析 050
第六节 总结 061
第三章 结合空域超分辨率与HEVC编码信息的视频编码算法 062
第一节 引言 062
第二节 结合空域超分辨率与HEVC编码信息的视频编码算法 063
一、基于深度学习与梯度转换的超分辨率重建算法 067
二、自适应关键帧选择 072
三、基于块补偿的视频后处理算法（BIPP） 074
第三节 实验结果和分析 079
第四节 总结 088
第四章 图像复杂度自适应的HEVC低延迟1帧码率控制算法 089
第五章 基于机器学习的H.264/AVC到HEVC转码算法 123
第六章 总结与展望 155
参考文献 159
试读
第一章 绪论
第一节 研究背景与意义
近些年来，网络和多媒体通信技术发展迅猛，多媒体信息已经渗透到教育、文娱、商业、通信等生产、生活的方方面面。随着计算机网络及无线网络的普及，相比于文字和图片，视频因其生动、直观的特点，更加受到人们的青睐，因此被广泛用于智慧城市、安防监控、智能交通、视频直播等诸多领域。但随着视频帧率和分辨率的持续增长，目前网络中用于视频存储的设备和传输视频的网络带宽面临越来越严峻的考验。因此，凸显了一个需求是由于受到移动多媒体设备能力不足或通信带宽的限制，视频序列的传输往往会牺牲一定的视频质量。想要在有限的信道带宽限制条件下尽可能提升视频用户的观看体验，最有效的解决办法一般为2种：一种方式是在现有的视频编码标准的条件下尽可能有效利用现有视频传输带宽；另一种方式是使用新技术进一步提升视频压缩编码的效率。
经过几十年的发展，各种图像、视频编解码标准中的核心技术和框架都基本成熟，如主要对静止图像进行压缩的JPEG、JPEG2000标准和主要对视频序列进行压缩的H.264/AVC、HEVC标准等。以即将进入实用阶段的HEVC标准为例，该标准与H.264/AVC相比，在保证视频质量相同的条件下，HEVC压缩率提高了1倍，但人们对视频压缩效率提升的研究是孜孜不倦的。因此，如何利用其他的技术来进一步提升基于HEVC的视频压缩率，就成为研究的方向之一。超分辨率重建技术能够有效利用信号处理技术，在不改变成像系统硬件设备的前提下，提升图像和视频的分辨率，节省替换成像设备的成本，因此这种技术成为图像处理领域的热点研究方向，并广泛应用到社会生产和国防军事领域，如医学图像、卫星遥感、视频监控、视频格式转换等。随着超分辨率技术的发展，目前国内外一些研究所及院校都有相关学者尝试利用其优势，将超分辨率重建技术运用到传统图像及视频压缩编码算法中，提出了结合超分辨率重建的图像和视频编解码方案，以取得更高的压缩效率。其思想为在编码端通过下采样降低视频的空/时域信息，然后对满足信道带宽的低码率视频在解码端利用空/时域超分辨技术进行重建，就是其中一个研究热点。
由上述可知，通过超分辨技术可在信道传输能力不足的前提下，提高视频编码标准的压缩率。但仍存在一个问题，那就是如何在给定带宽的限制下，充分利用现有实际通信网络的传输能力来提升编码后视频的质量。码率控制技术是针对这一问题的解决方案之一。码率控制就是对不同的码率控制单位分配最佳的数据量，这些分配的数据再通过自适应选择最优的量化参数来实现。因此，码率控制技术可以有效提升视频传输时带宽的利用率。然而，随着面向高清视频的HEVC标准的快速发展，其灵活的编码结构对码率控制技术的要求越来越高。虽然HEVC较之前的H.264/AVC标准的压缩效率大大提升，但如果没有相匹配的码率控制算法对这些比特进行合理分配，则可能会明显降低接收端解码视频的观看质量。因此，如何利用码率控制技术，提升HEVC编码后码流充分利用传输带宽的能力，也是行业研究热点。
……
