FusionGAN：用于红外和可见图像融合的生成对抗网络

FusionGAN：用于红外和可见图像融合的生成对抗网络(中文12000字,英文PDF)
摘要
红外图像可以根据热辐射的差异区分目标和背景，这在所有日/夜时和所有天气条件下都能很好地工作。相比之下，可见图像可以以与人类视觉系统一致的方式提供具有高空间分辨率和清晰度的纹理细节。本文提出了一种利用生成对抗网络融合这两类信息的新方法，称为FusionGAN。我们的方法在生成器和判决器之间建立对抗性游戏，其中生成器旨在生成具有主要红外强度以及附加可见梯度的融合图像，并且判决器旨在迫使融合图像在可见图像中存在更多细节。这使得最终融合图像能够同时将热辐射保持在红外图像中并且将纹理保持在可见图像中。此外，我们的FusionGAN是一种端到端模型，避免像传统方法那样手动设计复杂的活动级别测量和融合规则。公共数据集上的实验证明了我们的战略优于现有技术，我们的结果看起来像锐化的红外图像，具有清晰的突出目标和丰富的细节。此外，我们还推广我们的FusionGAN融合不同分辨率的图像，比如低分辨率的红外图像和高分辨率的可见图像。大量结果表明，我们的策略可以生成清晰、干净的融合图像，不会受到红外信息上采样引起的噪声影响。
关键字：图像融合；红外图像；可见光图像；生成对抗网络；深度学习