基于深度学习的方法在图像超分辨重建任务中已经取得了显著突破。它们成功的关键在于依赖大量成对的低分辨率和高分辨率图像来训练超分辨模型。然而,众所周知,获取如此大量一一对应的真实高-低分辨率图像对是一个具有挑战性的任务。且...基于深度学习的方法在图像超分辨重建任务中已经取得了显著突破。它们成功的关键在于依赖大量成对的低分辨率和高分辨率图像来训练超分辨模型。然而,众所周知,获取如此大量一一对应的真实高-低分辨率图像对是一个具有挑战性的任务。且基于仿真图像对训练的模型在面对具有与训练集退化类型不同的图像时往往表现不佳。在本文中,我们提出了用于单帧图像超分辨重建的自监督图像扩散模型(Self-supervised Diffusion Model for Single Image Super-resolution,SSDM-SR)来突破数据集的限制,从而避免这些问题。该方法基于扩散模型来学习单帧图像内的信息分布,并为待超分辨重建的图像训练一个小型的特定图像扩散模型。训练数据集仅从待超分辨图像本身中提取,因此SSDM-SR可以适应不同的输入图像。另外,该方法引入了坐标信息以帮助构建出图像的整体框架,从而使模型收敛更快。在多个公开基准数据集和具有未知退化核的数据集上的实验表明,SSDM-SR不仅在图像失真度方面优于近期先进的有监督和无监督图像超分辨重建方法,并且能生成具有更高感知质量的图像。在真实世界低分辨率图像上,它也生成了视觉上令人满意且无明显伪影的结果。展开更多
现有的基于卷积神经网络的超分辨率重建方法由于感受野限制,难以充分利用遥感图像丰富的上下文信息和自相关性,导致重建效果不佳.针对该问题,本文提出了一种基于多重蒸馏与Transformer的遥感图像超分辨率(remote sensing image super-re...现有的基于卷积神经网络的超分辨率重建方法由于感受野限制,难以充分利用遥感图像丰富的上下文信息和自相关性,导致重建效果不佳.针对该问题,本文提出了一种基于多重蒸馏与Transformer的遥感图像超分辨率(remote sensing image super-resolution based on multi-distillation and Transformer,MDT)重建方法.首先结合多重蒸馏和双注意力机制,逐步提取低分辨率图像中的多尺度特征,以减少特征丢失.接着,构建一种卷积调制Transformer来提取图像的全局信息,恢复更多复杂的纹理细节,从而提升重建图像的视觉效果.最后,在上采样过程中添加全局残差路径,提高特征在网络中的传播效率,有效减少了图像的失真与伪影问题.在AID和UCMerced两个数据集上的进行实验,结果表明,本文方法在放大至4倍超分辨率任务上的峰值信噪比和结构相似度分别最高达到了29.10 dB和0.7807,重建图像质量明显提高,并且在细节保留方面达到了更好的视觉效果.展开更多
文摘基于深度学习的方法在图像超分辨重建任务中已经取得了显著突破。它们成功的关键在于依赖大量成对的低分辨率和高分辨率图像来训练超分辨模型。然而,众所周知,获取如此大量一一对应的真实高-低分辨率图像对是一个具有挑战性的任务。且基于仿真图像对训练的模型在面对具有与训练集退化类型不同的图像时往往表现不佳。在本文中,我们提出了用于单帧图像超分辨重建的自监督图像扩散模型(Self-supervised Diffusion Model for Single Image Super-resolution,SSDM-SR)来突破数据集的限制,从而避免这些问题。该方法基于扩散模型来学习单帧图像内的信息分布,并为待超分辨重建的图像训练一个小型的特定图像扩散模型。训练数据集仅从待超分辨图像本身中提取,因此SSDM-SR可以适应不同的输入图像。另外,该方法引入了坐标信息以帮助构建出图像的整体框架,从而使模型收敛更快。在多个公开基准数据集和具有未知退化核的数据集上的实验表明,SSDM-SR不仅在图像失真度方面优于近期先进的有监督和无监督图像超分辨重建方法,并且能生成具有更高感知质量的图像。在真实世界低分辨率图像上,它也生成了视觉上令人满意且无明显伪影的结果。
文摘现有的基于卷积神经网络的超分辨率重建方法由于感受野限制,难以充分利用遥感图像丰富的上下文信息和自相关性,导致重建效果不佳.针对该问题,本文提出了一种基于多重蒸馏与Transformer的遥感图像超分辨率(remote sensing image super-resolution based on multi-distillation and Transformer,MDT)重建方法.首先结合多重蒸馏和双注意力机制,逐步提取低分辨率图像中的多尺度特征,以减少特征丢失.接着,构建一种卷积调制Transformer来提取图像的全局信息,恢复更多复杂的纹理细节,从而提升重建图像的视觉效果.最后,在上采样过程中添加全局残差路径,提高特征在网络中的传播效率,有效减少了图像的失真与伪影问题.在AID和UCMerced两个数据集上的进行实验,结果表明,本文方法在放大至4倍超分辨率任务上的峰值信噪比和结构相似度分别最高达到了29.10 dB和0.7807,重建图像质量明显提高,并且在细节保留方面达到了更好的视觉效果.
