视频压缩感知多假设局部增强重构算法
压缩感知(Compressed sensing, CS)[1]理论突破了Nyquist采样理论的瓶颈, 指出对于稀疏信号或可压缩信号, 可以用欠采样得来的数据高概率恢复出原信号, 采样率下限不再受限于信号带宽. 视频压缩感知(Compressed video sensing, CVS)是基于CS理论的视频信号编解码方案, 在编码端直接通过线性投影合并采样与压缩过程, 将计算压力转移至重构端, 十分适用于无线多媒体传感网络、无线视频监控等采样端资源受限的应用场景.
重构算法是压缩感知理论研究中的核心任务. 在图像压缩感知重构中, 文献[2]提出的分块压缩感知(Block-based compressed sensing, BCS)成为大多数重构算法采用的处理方式, 整个编解码过程以独立图像块作为基本处理单元, 显著降低了存储传输压力. 平滑Landweber投影算法(Smoothed projected landweber, SPL)[3]通过维纳滤波减轻分块处理造成的块效应, 因其重构的高效性成为图像压缩感知中的经典重构算法, 并广泛应用于CVS重构. 组稀疏重构算法(Group-based sparse representation, GSR)[4]提出组稀疏概念, 以相似块组进行奇异值分解后的奇异值具备稀疏性作为假设前提, 对每个相似块组建立自适应稀疏表示字典. 近年来, 研究人员尝试利用深度学习框架处理图像压缩感知问题, 并提出了几种信号重构的实现框架[5-6]. 基于深度学习框架的重构算法具有极高的重构速度, 但灵活性较差, 在不同采样率下均需训练出对应模型.
视频信号在图像信号的基础上增加了时间维度, 利用好帧间相关性是提高CVS重构质量的关键. 文献[7]将多假设预测(Multi-hypothesis prediction, MH)运用到CVS重构中, 并通过SPL算法对残差进行重构, 提出了多假设预测重构算法(Multi-hypothesis prediction BCS-SPL, MH-BCS-SPL). 在此基础上, 文献[8-9]对假设集的构造方式提出了优化方案, 有效提升了多假设预测精度. 文献[10]通过解弹性网回归问题求解各匹配块权重, 文献[11]在其基础上对
多假设预测因其对视频帧间相关性的高效利用成为了CVS重构算法的关键技术之一, 但在重构中不同运动特征的图像块找到高质量匹配块的难易程度明显不同, 由于假设集与当前待重构图像块的匹配程度对图像块重构质量影响较大, 低质量的假设集合会极大增加图像块的重构难度. 针对此问题, 本文提出了一种局部增强的多假设预测方案(Local enhancement reconstruction algorithm based on multi-hypothesis prediction, MH-LE), 对初始重构质量不好的图像块进行增强重构. 主要创新点有: 1)根据图像块的运动情况对图像块进行分类, 采用不同的多假设预测方法进行预测重构; 2)提出像素域双路匹配策略, 同时利用双边滤波前后的图像进行相似块匹配, 提高假设集质量; 3)将结构相似度(SSIM)评价标准引入假设块权值分配过程, 提高预测精度.
1. CVS多假设预测算法
在采集端, 传统视频编码需要先以高于信号最高频率的两倍的速率采集视频信号, 再通过一系列如运动估计、运动补偿、信号变换等高复杂度的压缩算法来丢弃冗余数据. 而CVS直接通过观测矩阵
(1) |
在分布式CVS信号采集中, 通常以GOP为单位对GOP内每个视频帧单独进行采样. GOP首帧为关键帧, 其他帧为非关键帧, 关键帧的采样率一般比非关键帧高, 在重构阶段能以更高的重构质量为非关键帧重构提供高质量边信息. 同时, 考虑到实际应用过程中的采样资源和传输压力等因素, 在对各个视频帧进行观测的过程中采用非重叠分块的BCS独立观测方法, 将每个图像块的观测值
在重构端, 对当前帧中的某个图像块进行多假设预测时, 首先在参考帧中寻找当前块的相似块组成假设集, 然后利用假设块的线性组合预测当前块, 通过最小化观测域欧氏距离得到最优线性加权系数矢量
(2) |
其中,
基于Tikhonov正则化的多假设预测加入了
(3) |
其中,
(4) |
基于弹性网的多假设预测进一步引入
(5) |
式(5)可通过LARS-EN算法[18]进行迭代求解, 在假设块相关性较差的情况下该方法可得到更好的加权系数, 但算法复杂度较高.
2. 多假设局部增强重构算法(MH-LE)
多假设预测算法利用参考帧作为边信息对当前帧进行预测, 假设集中假设块和当前块的匹配程度是决定预测质量的关键因素之一, 能否找到合适的匹配块在一定程度上反映了准确重构当前块的难度. 根据与相邻帧的相关程度, 可将图像块分为稳定块和运动块两个状态类别. 一方面, 不同状态的图像块在相邻帧中找到高度匹配块的难易程度不同. 对于基本没有出现位移的稳定块, 直接在相邻帧以当前位置为中心建立搜索窗进行搜索即可高概率地找到高度匹配块; 而重构运动块时需利用运动估计等方法来确定搜索窗位置, 且无法保证一定能找到有效匹配块. 另一方面, 假设集匹配程度不同导致不同状态的图像块适用的预测方法不同. 当假设块与当前块高度相关时, 基于弹性网的多假设预测算法会出现不稳定现象, 算法时间复杂度急剧增长, 预测精度反而不如计算量很小的基于Tikhonov正则化的预测方法(Multi-hypothesis Tikhonov, MH_Tikhonov)[11, 13]. 由于稳定块较容易找到高度相关的匹配块, 采用MH_Tikhonov方法即可高质量重构, 引入过多的正则化条件反而会因过度强调泛化能力而造成欠拟合. 因此, 本文提出多假设局部增强重构算法(MH-LE), 对不同类别图像块采用不同的重构策略, 通过进一步挖掘像素域信息对运动块进行二次重构, 提升视频整体重构质量.
2.1 MH-LE算法框架
本文所提算法采用coarse-to-fine策略, 先进行粗尺度的整体重构, 再针对部分高概率低质量的图像块进行精细化重构. 重构算法实现的整体框架如图1所示.
关键帧采用重构性能较优的GSR算法进行独立重构, 为非关键帧的重构提供高质量的参考信息. 考虑到MH_Tikhonov预测算法的高效性, 本文将其作为非关键帧的初始重构算法. 在此基础上, 通过计算当前帧与相邻帧的帧差情况, 根据图像块与相邻帧的相关程度将图像块分为稳定图像块和运动图像块, 对运动图像块进行增强重构. 在增强重构中, 采用提出的像素域双路匹配策略来构造假设集, 然后对当前运动块进行AWEN多假设预测, 在预测过程中同时结合观测距离和结构相似度距离调整各假设块权值. 最后, 对整幅图像重叠分块后进行像素域多假设预测[12]以减轻块效应. 图1中虚线框内容为本文所提算法的核心部分, 符号
2.2 图像块状态分类
在MH_Tikhonov初始重构的基础上, 本文通过计算相邻帧帧差的方式来简单确定图像块状态类别, 将计算力集中到运动图像块的增强重构上. 判断图像块状态类别的步骤分为两步: 1)计算帧差并进行二值化处理, 得到变化显著点分布情况; 2)统计各图像块内变化显著点比例, 若高于给定阈值则判别为运动块, 反之为稳定块. 以hall序列中的一个视频帧为例, 该过程中间结果图如图2所示.
由于非关键帧的重构有先后顺序, 帧差的计算方式应根据帧重构顺序来进行设计. 本文算法采用文献[19]提出的参考帧选择方案, 从GOP两端向中间帧靠拢的重构顺序来对非关键帧进行重构. 因此, 在GOP的前半部分和后半部分, 帧差计算方式为当前帧与相邻已重构帧的差值, 而在GOP的中间帧因为同时有前后两个相邻帧作为参考帧, 需要同时计算当前帧与两相邻参考帧的差值. 然后, 对帧差图像进行阈值大小为
2.3 像素域双路匹配策略
初始重构时运动图像块找到合适匹配块的难度远大于稳定图像块, 造成运动图像块的初始重构质量较差, 再次进行匹配时准确度较低. 本文提出像素域双路匹配策略提高假设集质量, 首先引入双边滤波[20]滤除部分噪声, 将滤波结果作为新的标准块参与到匹配过程, 匹配过程中更关注图像块的主要特征; 其次提出细致化筛选方式构建高质量假设集, 参与后期的AWEN多假设预测. 像素域双路匹配策略流程见图3.
在像素域双路匹配策略中, 运动块的假设块匹配工作分为两路, 一路直接在初始重构结果上进行匹配; 另一路在匹配前先对当前图像块和参考帧执行滤波操作, 利用滤波后的信息进行匹配. 在这两路匹配流程分别建立起各自的假设集后将假设集进行合并, 得到最终的假设集, 参与到之后进行的AWEN预测. 当前初始重构帧和前后关键帧、已重构相邻非关键帧共同组成了完整的参考帧集合, 作为第一条匹配路线的参考帧集合. 但由于关键帧重构质量已经较高, 滤波操作反而会抹去原有的真实信息, 因此第二条匹配路线不将关键帧作为参考帧.
接下来具体介绍图3中执行双边滤波操作的匹配路线.
步骤 1. 对当前运动块和参考帧进行双边滤波
当前帧中运动图像块初始重构质量通常较差. 由于重构时只以在观测域上逼近真实观测值作为优化目标, 而没有引入足够的图像先验信息, 重构结果往往存在明显的块效应, 且图像块内像素值的连续性较差. 这样的图像块如果不经处理就直接在像素域寻找匹配块, 就很容易找到那些同样充满噪点及块效应, 且像素间灰度值不连贯的图像块.
因此, 为了利用像素间相关性且在不至于过度平滑的情况下缓解情况严重的噪点问题, 采用经典的双边滤波对当前图像和参考帧进行处理. 双边滤波同时考虑了像素点间的欧氏距离和灰度差异, 将周围像素灰度值的加权平均作为当前像素灰度值. 周边像素点对应权值的计算式为
(6) |
其中,
双边滤波有效地利用了像素相关性, 使得滤波结果更符合自然图像常见的内部平滑特征, 同时减少了干扰信息, 有效地突出了图像块的主要特性. 在图像质量较差的情况下, 匹配时将图像块的主要初级特征而非细节等较难准确重构的特征作为关注点, 能够提高匹配准确度.
步骤 2. 快速运动估计寻找候选假设块
由于运动图像块找到匹配块的难度较大, 因此通过快速运动估计方法来扩大搜索范围. 该步骤采用已经发展成熟的四步快速搜索算法在滤波后的参考帧中找到最佳匹配点, 然后把搜索窗内的所有图像块作为候选假设块.
步骤 3. 筛选假设块
步骤2中得到的候选假设块数量庞大, 且质量参差不齐, 若全部参与加权计算, 不仅会极大增加运算量, 还会降低预测精度. 因此, 需要对候选假设块进行筛选, 只保留匹配程度较高的假设块. 筛选过程在观测域和像素域共同进行, 由于观测过程为多对一的映射过程, 即使重构图像块的观测结果接近于真实观测值, 也无法确保重构图像块接近真实图像块, 因此需要像素域信息作为辅助信息来进一步判断匹配程度. 筛选假设块时先在观测域上判断匹配程度, 再在像素域上匹配, 遵循这样的匹配顺序主要有3个原因. 1)观测值相近是图像块内容相近的前提, 观测结果相差太远的图像块基本不可能匹配; 2) 当前块的真实观测值是目前已有的唯一的真实信息, 而像素域信息为重构信息, 匹配可靠性严重依赖于重构结果的质量, 依此找出来的假设块可能出现与真实观测值相差较大的情况; 3) SSIM需对图像块进行亮度、对比度以及结构上的比较, 计算复杂度较高, 不适合处理大量数据. 因此, 筛选假设块时先在观测域上进行粗筛选, 再在像素域上进行细筛选.
筛选过程的具体操作为: 在当前已滤波的处理假设集中选出前
另一条重构路线采用类似的假设集构造方法, 其假设集与当前块均为未经滤波的原始结果. 最终, AWEN预测方法中使用的假设集为这两条路线构造的假设集之和
2.4 基于观测距离和SSIM距离的权值调整方法
得到全新的假设集后, 利用AWEN算法对当前块进行预测重构, 即
(7) |
大部分的多假设预测算法采用距离惩罚方式来设计
同时考虑图像块的观测结果与图像块本身的结构特性, 本文提出基于观测距离和SSIM距离的权值调整矩阵设计方法, 即
(8) |
其中,
(9) |
其中,
(10) |
其中,
滤波操作的目的是在像素域上发掘图像块间的潜在相似性, 导致在强化图像内部主要特征的同时难免会对原图内容造成一定程度的更改, 该情况下如果和滤波前图像块进行比较, 则无论是观测误差还是像素域误差均会明显增加, 滤波后的图像块被认为和当前图像块匹配程度较低, 导致被赋予更大权重的块基本只能是那些未经过滤波的假设块. 因此, 在进行权值调整时, 参与计算的当前块的状态与假设块的状态应保持一致, 才能保证匹配计算的公平性, 使更多的优质假设块能够参与到多假设重构中.
3. 仿真结果及分析
为验证本文所提MH-LE算法的有效性, 在本节将对MH-LE进行仿真实验并与最近几年提出的性能较好的视频压缩感知重构算法进行比较分析. 参与比较的算法包括基于多假设预测的两种重构算法2sMHR[12]和PBCR-DCVS[13], 以及基于组稀疏的两种重构算法RRS[14]和SSIM-InterF-GSR[15]. 本节实验使用的视频序列有: CIF格式
MH-LE算法中各参数设置如下: 1)图像块状态分类的判断中, 帧差二值化阈值
3.1 与PBCR-DCVS结果对比及分析
本小节将MH-LE算法与目前文献中基于多假设预测的重构算法中重构峰值信噪比(Peak signal for noise ratio, PSNR)值最高的PBCR-DCVS[13]进行性能对比, 由于PBCR-DCVS算法未开源, 为保证对比结果的公平性, PBCR-DCVS实验结果均取自原文献, 本文实验条件与文献一致, 即实验序列为CIF格式的foreman, coastguard, soccer, mother-daughter, 关键帧采样率为0.7, GOP大小为8, 取序列前88帧. 各非关键帧采样率下MH-LE与PBCR-DCVS重构PSNR对比如图4所示.
从图4可见, 对于foreman和soccer序列, 本文所提MH-LE算法相比于PBCR-DCVS算法有明显的性能提升, 在各采样率下均有
MH-LE算法中预处理操作带来的额外开销主要来自于运动块的相似块匹配过程, 运动块的参考帧集合增加了原参考帧的滤波结果, 虽然增加了匹配次数, 但也提高了假设集质量. MH-LE和PBCR-DCVS均采用了基于elasticnet的预测算法, 该算法需通过迭代进行求解, 上述两个算法的时间复杂度主要来源于预测算法的求解过程. 由于MH-LE算法只对运动图像块采用基于elasticnet的预测算法, 因此大大减少了需要进行迭代计算的图像块个数, 和PBCR-DCVS相比具有更低的算法复杂度.
3.2 算法重构性能对比与复杂度分析
3.2.1 重构性能对比分析
本小节将MH-LE算法与RRS[14]、2s-MHR[12]、SSIM-InterF-GSR[15]进行性能对比. 实验序列为QCIF格式的foreman, hall, coastguard, suzie, salesman, soccer, 关键帧采样率为0.7, GOP大小为16, 取序列的前96帧. 各非关键帧采样率下MH-LE与各算法重构PSNR对比如表1所示.
从表1仿真结果可见, MH-LE算法在大部分采样率下和其他重构算法相比重构性能均有较明显的提升. 分别和RRS、2sMHR、SSIM-InterF-GSR比较所有采样率下PSNR的平均值, MH-LE算法在foreman序列上分别提升了3.49, 2.49, 1.21
对于foreman序列第8帧在0.1采样率下的重构结果, 各算法的重构视觉效果如图5所示, 并给出了每个重构结果的PSNR值. 在采样率较低的情况下, 对原图像的重构难度较大, RRS重构结果中出现了明显的噪点, 而2sMHR, SSIM-InterF-GSR和MH-LE算法基本重构出了图像的主要信息. 2sMHR算法重构, 在人物的耳朵、衣领、下巴处仍出现较明显的块效应; 在SSIM-InterF-GSR算法的重构图像中虽然没有出现块效应, 整体视觉效果十分柔和, 但却出现过度平滑现象, 下巴褶皱、耳窝、屋檐下阴影等细节内容被大量抹除. 相比之下, MH-LE算法既减轻了块效应, 又避免了过度平滑, 更忠实于原图像.
3.2.2 算法复杂度对比分析
本节将所提MH-LE算法与上述提供算法代码的RRS[14], 2s-MHR[12], SSIM-InterF-GSR[15]算法进行时间复杂度比较, 并根据比较结果进行分析. 本节所有实验均在搭载Intel Core i5 3.30 GHz处理器的PC端完成, 仿真软件为Matlab R2016a, 操作系统为Windows 7. 实验中采用QCIF格式的视频序列: suzie, hall, foreman, soccer, 以上序列的运动剧烈程度依次递增. GOP长度为16, 关键帧采样率为0.7. 实验结果如表2所示, 表中数据为各采样率下视频序列每个非关键帧的平均重构时间.
由表2可知, 算法运行速度从快到慢依次为: 2sMHR, MH-LE, RRS, SSIM-InterF-GSR. 2sMHR和MH-LE算法的时间复杂度明显低于SSIM-InterF-GSR和RRS算法, 以hall序列为例, SSIM-InterF-GSR算法的运行时间约为2sMHR算法的20倍, 约为MH-LE算法的10倍. 多假设预测算法直接利用假设集对当前帧进行预测, 涉及到的处理过程较简单, 所需时间较少. 其中2sMHR算法在预测时因为没有涉及到迭代过程, 所以重构速度最快. 而基于组稀疏的重构算法则因为涉及到矩阵分解问题, 每次迭代所需时间较长; 同时由于观测域约束优化过程与像素域优化过程是分开进行的, 因此需要一定的迭代次数来保证算法已达到收敛状态. 由表中数据可知, MH-LE算法重构suzie, hall, foreman, soccer序列所需时间依次递增. MH-LE算法的运行时间与序列内容的运动状态密切相关, 取决于视频帧内容中运动块的比例. 重构运动块时采用了AWEN预测方法, 该算法求解时需要迭代操作, 所需预测时间稍长; 另外, 对运动块进行重构前增加了双边滤波操作, 且对假设集进行了扩充, 增加了每次预测所需时间. 所以, 运动越快的序列中运动块的数量越多, 所需重构时间也越长.
4. 结束语
在多假设预测重构中, 假设集与当前待重构图像块的匹配程度对图像块重构质量影响较大, 低质量的假设集合极大地增加了图像块的重构难度. 针对此问题, 本文提出了一种对部分图像块进行增强重构的多假设预测方案(MH-LE), 通过挖掘像素域上的有用信息来进一步提高图像块的重构质量. 该方案通过帧间像素变化情况将图像块划分为稳定块和运动块, 结合图像块自身结构特点对图像块采取不同的重构策略. 所提方案针对运动块提出了像素域双路匹配策略, 建立更高质量的假设集; 并将结构相似度评价标准引入假设块权值分配过程, 进一步提高预测精度. 仿真结果表明, 所提方案和其他基于多假设预测的重构算法相比具有明显的质量提升; 和基于组稀疏的重构算法相比, 在具有更低的算法复杂度这一优势的同时仍在大部分采样率下具有更高的重构质量.
- 我用了一个很复杂的图,帮你们解释下“23版最新北大核心目录有效期问题”。
- 重磅!CSSCI来源期刊(2023-2024版)最新期刊目录看点分析!全网首发!
- CSSCI官方早就公布了最新南核目录,有心的人已经拿到并且投入使用!附南核目录新增期刊!
- 北大核心期刊目录换届,我们应该熟知的10个知识点。
- 注意,最新期刊论文格式标准已发布,论文写作规则发生重大变化!文字版GB/T 7713.2—2022 学术论文编写规则
- 盘点那些评职称超管用的资源,1,3和5已经“绝种”了
- 职称话题| 为什么党校更认可省市级党报?是否有什么说据?还有哪些机构认可党报?
- 《农业经济》论文投稿解析,难度指数四颗星,附好发选题!
- 期刊知识:学位论文完成后是否可以拆分成期刊论文发表?
- 号外!出书的人注意啦:近期专著书号有空缺!!