[SISR] SISR 분야 논문 이해를 위한 용어 정리 1탄

해당 포스팅은 Computer Vision 영역 중 SISR 문제에 대해서 처음 다뤄 보시거나

입문하시는 분들 (나....) 에게 간단한 아주 얕은 용어 정리를 제공합니다.

 

1. Solution

1) input의 해상도를 높이는 solution (input image = output image)

2) input과 유사한 high resolution의 다른 image를 찾아주는 solution (input image ≠ output image)

 

2. Measure (평가방식)

1) PSNR : pixel to pixel의 차이를 측정

2) MOS : 사람이 1~5 단계로 점수를 매겨서 평가

 

3. Polynomial-based Interpolation

- Solution type 1에 해당

- bilinear, bicubic 등 매우 다양한 방식이 존재

- the simplest method

 

4. Dictionary-based Super-Resolution

- Solution type 2에 해당

- 최근에 생긴 명칭

- 종류는 크게 Self similarity Based / Scene Matching Based로 나뉨

- find the close real image patch at Data Base (= dictionary)

 

- Trend )

• DB : Small -> Large

 

• Patch Size : Large -> Small
  • 예전에는 산 전체를 patch로 결정 했다면, 이제는 산의 나무 한 그루 혹은 나뭇잎 하나를 patch로 결정함

 

• Measure : MOS -> PSNR
  • Patch size를 크게 설정한 solution을 사용할 당시엔, PSNR이 떨어지다 보니까, MOS로 측정하면서 육안으로 봤을 때 개선됨을 강조했음.
  • Patch size가 작아지면서 PSNR을 증가시킬 수 있게 되어서 측정 방식이 MOS에서 PSNR 위주로 변하게됨

 

5. Convolutional Neural Network (CNN)

- SRCNN : SR 문제에 처음으로 CNN이 적용된 모델

                 interpolated image를 input으로 사용함.

                 Training과 measure 모두 RGB 3 channel이 아닌 gray scale Y channel만 사용함.

                 Training 할 때 이미지 전체가 아닌 patch를 넣어서 진행.

 

6. Stack More Layers (deep learning의 핵심)

-VDSR : Multi-scale SR을 위한 single model (SRCNN은 하나의 scale에 대해서만 가능했음)

-ResNet : 어떻게 layer를 깊게 쌓을 것인가에 대한 답변이 되는 모델

 

-위의 두 모델 모두 skip connection (아래 #9) 을 이용해서 layer가 깊어짐에 따라서 gradient vanishing이 발생하지 않도록 처리함

-당연히 깊어질 수록 더 좋아짐

 

7. Upscaling Layer

- upscaling filter의 적용으로 더 이상 bicubic 등과 같은 interpolation 기법을 사용하지 않아도 괜찮음

- 하나의 pixel에서 feature map을 늘려서 그것들을 섞어서 3X3 pixel로 만들어 내는 접근

- 굉장히 간단하지만 성능 향상에 많은 도움을 줌

 

- ESPCN 모델 소개 논문에서 첫 등장

 

8. Generative Adversarial Network (GAN)

- SRResNet : ResNet을 이용해서 Deep Network 부분을 해결하고 ESPCN을 이용해서 upscaling을 해결함

 

- SRGAN : SRResNet에 GAN을 적용해서 사람 눈으로 보기에 더 realistic한 image를 만들어냄.

                  Generating 네트워크 구성을 살펴보면 중간에는 residual block들을 쭉 넣었고,

                  끝부분에는 upsampling layer를 집어 넣음. (G model로 트레이닝 시키면 그게 바로 SRResNet)

 

                  G model에서 얻은 high resolution이 진짜인지 아닌지를 판별하는

                  Discriminator 네트워크를 학습시키는 부분이 포함되면 SRGAN.

 

-SRResNet에 비해서 SRGAN이 훨씬 실제에 가깝게 표현됨.

 

9. Skip Connection

- VDSR처럼 global skip connection을 할 수도 있고,

  SRResNet처럼 local skip connection을 할 수도 있음

- Global과 Local 모두 학습을 안정적으로 하도록 도와주기 때문에 중요함

 

 

 

해당 게시물은 naver D2에서 진행된 Enhanced Deep Residual Networks for Single Image Super-Resolution 논문 소개 영상을 참고했습니다. 

 

 

 

논문리뷰) Image Super-Resolution Using Deep Convolutional Networks

논문리뷰) Accurate Image Super-Resolution Using Very Deep Convolutional Networks (VDSR)

SRGAN에 대한 추가 설명

논문리뷰) Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network (SRGAN)