去噪论文阅读-1

Posted on

导言：这篇文章两篇论文，关于blind去噪相关。

When AWGN-based Denoiser Meets Real Noises

What is the problem:

  1. 实际噪声是空域相关的，但是生成的AWGN是空域无关的。使用在AWGN中训练的网络在无法在实际noise中获得较好得结果。

    The synthetic noises adopted in most previous work are pixel-independent, but real noises are mostly spatially/channel-correlated and spatially/channel-variant. This domain gap yields unsatisfied performance on images with real noises if the model is only trained with AWGN

  2. 如何解决生成噪声的空域无关？或如何解决实际噪声中的空域耦合性？

main idea:

  1. 方法pipeline:
    1. train 模型依然是在AWGN的图像中train
    2. 在对实际img进行去噪时，去掉实际图片中噪声的空间依赖性，speciffically 使用Pixel shuffle，将有噪声的real img重排。
      image|677x413,50%
    3. 对于重排的图片使用trained的高斯去噪模型去去噪，然后重排列回来。
  2. pixel shuffle 方法：每隔stride抽样，得到重排的图像，在保持pixel的值不变的条件下，改变每一个pixel的空间性。
    image|652x471,50%

    启发：

  3. 这类可以看作real noise的magnetite和position(空域)的disentangelment 问题。
  4. 自监督，对比学习的方法可以在此应用，具体的，将AWGN看作对于noise magnititude的减少，我们把noise图像按照某种方式投影到某个高纬度空间，将其位置信息接耦合掉，使得其位置分布符合一般高斯噪声分布，在高维空间中对高斯噪声进行去噪，依次添加位置信息重构原图。（区别与该paper，不一定是bi抽样，位置可能不是相邻或一般规律。）

Toward Convolutional Blind Denoising of Real Photographs

What is the problem:

  1. 当model train 在AWGN上时易发生过拟合，范化性差，于是提出一个convolutional blind denoising network

    The learned models are easy to overfit on the simplified AWGN model which deviates severely from the complicated real-world noise model

    Main idea:

  2. Pipeline: 先预测噪声图的噪声等级，再将该预测和噪声图放入Non-blind Denoising SUbnetwork.(针对该噪声等级的network)。
  3. 如何做到Blind？
    • 预测不同的噪声等级，模型输入会进入更多信息，并自适应地去对不同噪声进行针对性处理。
  4. 如何学噪声等级？
    • 将cln和噪声图片同时输入进噪声估计网络 $\sigma(\cdot)$ 得到两者的噪声等级， $\sigma(\tilde{y})$ 应该是要小于 $\sigma(y)$ 的。所以在 $\sigma(\tilde{y}) < \sigma(y)$ 处应该是存在loss error的。
      image|506x58,75%
    • 同时，clean img的噪声估计结果应该在x，y方向平滑，以梯度约束。
      image|331x41,75%

image|690x257,50%

实验：

训练集：
生成的数据，RGB to synthesis the raw image. revers ISP. 在raw中加入噪声用ISP转到RGB得到噪声图像。

  • synthesis data: use 400 images from BSD500 [40], 1600 images from Waterloo [36], and 1600 images from MIT-Adobe FiveK dataset [7] as the training data.
  • real noise data: As for real noisy images, we utilize the 120 images from the RENOIR dataset [4]

启发：

  1. 对于Non-blind 噪声自适应并没有很好利用。等级需要逐层影响网络模块是否会有更好效果。
  2. 做成unpair的？
    • 跨域的unpair
    • 同域的unpair
  3. $\sigma(\tilde{y})$ 应该是要小于 $\sigma(y)$ 的。所以在 $\sigma(\tilde{y}) < \sigma(y)$ ， 噪声图的噪声估计结果只可能大于等于cln。
  4. 可否用oneshot来做