以老电影视频为研究对象,针对序列中存在的多种损伤类别,提出一种基于分组鲁棒主成分分析(robust principal component analysis,RPCA)的统一修复方法.采用镜头分割和去闪烁实现对视频序列的预处理.在多分辨率金字塔框架下,采用时空域...以老电影视频为研究对象,针对序列中存在的多种损伤类别,提出一种基于分组鲁棒主成分分析(robust principal component analysis,RPCA)的统一修复方法.采用镜头分割和去闪烁实现对视频序列的预处理.在多分辨率金字塔框架下,采用时空域分组的方式在最粗糙层构造观测矩阵,依次执行基于交替线性法的RPCA变换后,根据帧间误差信息得到大面积破损位置;利用上采样方式构造初步修复结果序列、破损掩模序列以及最近邻偏移矩阵集合,继而对原始序列进行修改,重复时空域分组RPCA变换,实现对老电影视频序列的修复.实验结果证明,该方法能够同时修复画面中的不同损伤,并取得良好的效果.展开更多
现有的基于通信学习的多智能体路径规划(multi-agent path finding,MAPF)方法大多可扩展性较差或者聚合了过多冗余信息,导致通信低效。为解决以上问题,提出干扰者鉴别通信机制(DIC),通过判断视场(field of view,FOV)中央智能体的决策是...现有的基于通信学习的多智能体路径规划(multi-agent path finding,MAPF)方法大多可扩展性较差或者聚合了过多冗余信息,导致通信低效。为解决以上问题,提出干扰者鉴别通信机制(DIC),通过判断视场(field of view,FOV)中央智能体的决策是否因邻居的存在而改变来学习排除非干扰者的简洁通信,成功过滤了冗余信息。同时进一步实例化DIC,开发了一种新的高度可扩展的分布式MAPF求解器,基于强化和模仿学习的干扰者鉴别通信算法(disruptor identifiable communication based on reinforcement and imitation learning algorithm,DICRIA)。首先,由干扰者鉴别器配合DICRIA的策略输出层识别出干扰者;其次,在两轮通信中分别完成对干扰者与通信意愿发送方的信息更新;最后,DICRIA根据各模块的编码结果输出最终决策。实验结果表明,DICRIA的性能几乎在所有环境设置下都优于其他同类求解器,且相比基线求解器,成功率平均提高了5.2%。尤其在大尺寸地图的密集型问题实例下,DICRIA的成功率相比基线求解器甚至提高了44.5%。展开更多
作为胶片电影中最常见的谷粒噪声,其对应的修复算法虽然很多但却存在过度平滑、复杂度高等诸多缺陷.因此运用RGB通道的相关性,提出一种基于分区域双边滤波的噪声修复算法,目标是去除胶片电影中常见的谷粒噪声,为后续斑点、划痕、稳像、...作为胶片电影中最常见的谷粒噪声,其对应的修复算法虽然很多但却存在过度平滑、复杂度高等诸多缺陷.因此运用RGB通道的相关性,提出一种基于分区域双边滤波的噪声修复算法,目标是去除胶片电影中常见的谷粒噪声,为后续斑点、划痕、稳像、闪烁等修复工作提供质量保证.测试结果表明:运用本算法去噪后的图像不仅能满足人眼的视觉要求,而且其峰值信噪比(peak signal to noise ratio,PSNR)值和结构相似性(structural similarity,SSIM)值明显提高,运行时间也几乎缩短为原来的一半,这不仅会提高旧电影的商业价值,而且对挽救国内外大量史实资料具有重要意义.展开更多
针对传统划痕修复算法存在梯度效应以及精度不高等问题,提出基于5×5邻域像素点相关性的划痕修复算法.利用待修复区域与周围24个邻近像素点的相关性,通过定义待修复像素点的优先度来确定填充顺序.每次修复一个像素点并及时更新待修...针对传统划痕修复算法存在梯度效应以及精度不高等问题,提出基于5×5邻域像素点相关性的划痕修复算法.利用待修复区域与周围24个邻近像素点的相关性,通过定义待修复像素点的优先度来确定填充顺序.每次修复一个像素点并及时更新待修复区域,重复操作直至待修复区域像素点的个数为0.实验结果证明,该算法与传统算法相比,更适用于旧的影视资料的修复,既可缩短运行时间,也获得了较高的峰值信噪比(peak signal to noise ratio,PSNR)值和结构相似性(structural similarity index, SSIM)值.展开更多
文摘以老电影视频为研究对象,针对序列中存在的多种损伤类别,提出一种基于分组鲁棒主成分分析(robust principal component analysis,RPCA)的统一修复方法.采用镜头分割和去闪烁实现对视频序列的预处理.在多分辨率金字塔框架下,采用时空域分组的方式在最粗糙层构造观测矩阵,依次执行基于交替线性法的RPCA变换后,根据帧间误差信息得到大面积破损位置;利用上采样方式构造初步修复结果序列、破损掩模序列以及最近邻偏移矩阵集合,继而对原始序列进行修改,重复时空域分组RPCA变换,实现对老电影视频序列的修复.实验结果证明,该方法能够同时修复画面中的不同损伤,并取得良好的效果.
文摘现有的基于通信学习的多智能体路径规划(multi-agent path finding,MAPF)方法大多可扩展性较差或者聚合了过多冗余信息,导致通信低效。为解决以上问题,提出干扰者鉴别通信机制(DIC),通过判断视场(field of view,FOV)中央智能体的决策是否因邻居的存在而改变来学习排除非干扰者的简洁通信,成功过滤了冗余信息。同时进一步实例化DIC,开发了一种新的高度可扩展的分布式MAPF求解器,基于强化和模仿学习的干扰者鉴别通信算法(disruptor identifiable communication based on reinforcement and imitation learning algorithm,DICRIA)。首先,由干扰者鉴别器配合DICRIA的策略输出层识别出干扰者;其次,在两轮通信中分别完成对干扰者与通信意愿发送方的信息更新;最后,DICRIA根据各模块的编码结果输出最终决策。实验结果表明,DICRIA的性能几乎在所有环境设置下都优于其他同类求解器,且相比基线求解器,成功率平均提高了5.2%。尤其在大尺寸地图的密集型问题实例下,DICRIA的成功率相比基线求解器甚至提高了44.5%。
文摘针对目前视觉引导的音效生成方法存在的保真度低、时序对齐效果差等问题,提出一种基于时序对齐视觉特征映射的音效生成方法.首先,设计基于时序约束的特征聚合窗口,将视频序列滑动整合为视觉特征集合;其次,构建时空匹配的跨模态视音频特征映射网络,将视觉特征集合转换为多频段音频特征;最后,采用音频解码器将音频特征解码为梅尔频谱,再使用声码器将其转换为最终波形.在VAS数据集上进行定性与定量实验,实验结果表明,与现有方法相比,文中方法在语音质量感知评估、发声点平均偏移量以及人工评估方面均有显著提升,其中,发声点平均偏移量平均降低至0.2 s.
文摘作为胶片电影中最常见的谷粒噪声,其对应的修复算法虽然很多但却存在过度平滑、复杂度高等诸多缺陷.因此运用RGB通道的相关性,提出一种基于分区域双边滤波的噪声修复算法,目标是去除胶片电影中常见的谷粒噪声,为后续斑点、划痕、稳像、闪烁等修复工作提供质量保证.测试结果表明:运用本算法去噪后的图像不仅能满足人眼的视觉要求,而且其峰值信噪比(peak signal to noise ratio,PSNR)值和结构相似性(structural similarity,SSIM)值明显提高,运行时间也几乎缩短为原来的一半,这不仅会提高旧电影的商业价值,而且对挽救国内外大量史实资料具有重要意义.
文摘针对传统划痕修复算法存在梯度效应以及精度不高等问题,提出基于5×5邻域像素点相关性的划痕修复算法.利用待修复区域与周围24个邻近像素点的相关性,通过定义待修复像素点的优先度来确定填充顺序.每次修复一个像素点并及时更新待修复区域,重复操作直至待修复区域像素点的个数为0.实验结果证明,该算法与传统算法相比,更适用于旧的影视资料的修复,既可缩短运行时间,也获得了较高的峰值信噪比(peak signal to noise ratio,PSNR)值和结构相似性(structural similarity index, SSIM)值.
