作者：萝卜兔
在图像处理的过程中，会遇到各种各样的噪声，比如在夜晚场景下的照片会有很多噪点，在雾霾天气下会朦胧不清，在下雨天会有密密麻麻的雨滴.....所以去除图像中的各种噪声，还原清晰的图像也是CV领域的一大研究方向。萝卜兔今天便给大家介绍一些前沿的图像去雨滴算法。
用注意力对抗网络进行单图去雨
该方法是来自于今年的CVPR文章《Attentive Generative Adversarial Network for Raindrop Removal from a Single Image》，是北京大学、新加坡国立大学以及耶鲁-新加坡国大的研究成果，主要是对车窗上的水滴进行清除。
由于受各方面因素的影响，去雨问题实际是一个很复杂的问题，首先这个问题是如何建模，基本的思想是将带雨图像分解为不带雨滴的图像和受雨滴影响的图像。
其中I是就是我们需要处理的带雨滴图像，M是一个0,1掩膜, B是不带雨滴的真实背景图，R是受雨滴影响的图像。去雨的目标就是要从I中恢复出B。这篇文章使用GAN框架来解决这个问题，创新的地方在于在生成器和判别器中引入了视觉注意力机制，让模型能够意识到哪些地方是受雨影响的，整个框架如下图，下面来看看两部分具体是如何工作的。
生成器
生成器包括两部分，一个是基于循环神经网络生成注意力热图，另一部分是上下文自编码器，用于生成去雨之后的图像。
首先来看如何生成注意力热图，作者使用了循环神经网络的结构，每个cell包括使用5层ResNet提取特征，然后送入convLSTM中生成2D的注意力热图。每一个step都使用上一时刻的注意力热图和原图作为输入，逐渐生成更精确的注意力分配图。这一部分使用掩膜M作为每个step的监督，指导注意力热图的生成。
接下来看如何生成去雨的图像。这一部分的有两个目标，一是要生成去雨的图像，而是要保证生成的图像尽可能真实。图像生成的主要框架是一个自编码器，输入是带雨图像与注意力热图，输出是去雨的图像。在损失函数上两部分Lm和Lp, Lm是一个多尺度的Loss，它是为了在解码的时候保证获得更多的上下文提升生成的图像质量，具体来讲就是讲真实的背景图像进行下采样分别用于监督解码器不同的层级，具体形式都是基于像素的MSE；Lp称为感知Loss（perceptual loss），它利用VGG16提取高层的特征进行监督来保证生成图像的质量。
判别器
判别器是为了区分出谁是真的谁是假的，对图像进行判别，可以从全局和局部两个方面进行，从局部来看就是要检查可能为假的部分，可是并没有先验的信息来告诉我们哪些位置可能为假，因此需要判别器自己去学。文章为了解决这个问题，将上一步中生成的注意力热图引入到判别器中。具体来讲，在判别器CNN的中间部分生成一个注意力分配图，将其与特征相乘之后传入下一层，注意力分配的监督工作由生成器得到的注意力热图完成，这样相当于引导判别器主要关注受雨滴影响部分的真实性。
实验效果
实现细节参照论文：https://arxiv.org/pdf/1711.10098.pdf
RESCAN单图去雨
该论文是来自北京大学和上海交通大学的几位研究者的成果，已经入选今年的ECCV会议，他们在卷积神经网络以及循环神经网络的基础上，提出了一种新的神经网络架构RESCSN来处理单图雨滴。
这篇文章对于去雨问题的建模也是将问题进行分解，稍有不同的是将雨的影响进行了细分，认为R是由多种雨的纹路（rain streaks）组成的。另外在模型的建模目标上也有不同，上一篇文章直接去生成去雨的图像，而本文则希望去建模得到R，这样B = O - R。因此这篇文章的总体目标就是希望学到一个映射F, 使得F(O) 与 R尽可能接近。
方法
文章提出了一种称为REcurrent SE Context Aggregation Net (RESCAN)的框架，整个过程是多阶段的，逐步得到R。
每个阶段使用一种称为SCAN的结构，这个结构主要有以下几个特点：
第一是使用空洞卷积快速扩大感知野，因为在去雨中更多的上下文信息是比较关键的，比如上篇文章的多尺度的Loss；
第二个特点是使用SE模块（具体可以参考论文1），作者认为特征图的每个channel都可以看为某种Ri的表示（embedding），每个Ri都有一个对应的系数αi，通过引入SE模块，可以显式地为不同Ri赋值不同的系数。这样每个阶段都能得到某些rain streaks,也就是说每个阶段都能去除某些rain streaks。
由于一个阶段不可能将所有的rain streaks都去除，因此需要多阶段逐步地进行，这个过程通过RNN的结构来建模。
实验效果
具体技术细节参考论文：
https://arxiv.org/pdf/1807.05698.pdf
去除图像中的雨滴也有很多可以应用的地方，比如说如果自动驾驶，如果车辆要在雨天行驶的话，就需要保持良好干净的视野，再比如处理下雨天道路的监控图像以及一些需要在雨中作业的机器。虽然，这只是CV领域的一个小小细枝节，但也是可以造福我们人类的重要科技力量。
参考文献：
1. Hu, J., Shen, L., Sun, G.: Squeeze-and-excitation networks. arXiv preprint arXiv:1709.01507 (2017)
2. Qian, Rui, et al. "Attentive generative adversarial network for raindrop removal from a single image." arXiv preprint arXiv:1711.10098 (2017).
3. Li, Xia, et al. "Recurrent Squeeze-and-Excitation Context Aggregation Net for Single Image Deraining." arXiv preprint arXiv:1807.05698(2018).
