DeepLab V3+

1. Tensorflow state-of-art deep learning model for semantic image segmentation

2. IOS example & Android example + tensorflow lite API 제공

3. Semantic Image Segmentation : image에서 각 pixel이 어떤 class와 관련되어 있는지 예측하는 모델

• atrous convolution 사용 : Dilated Convolution이라고 해서, 확장된 conv를 의미. convolutional layer에 또 다른 parameter인 dilation rate를 도입한 것. dilation rate는 커널 사이의 간격을 정의 

    ex) dilation rate가 2인 3X3 kernel은 9개의 parameter로 5X5를 커버할 수 있음 = 동일한 computation load로 더 넓게 cover (적은 parameter & 적은 연산량을 달성할 수 있는 이유)

    real-time segmentation 분야에서 주로 사용 (넓은 시야가 필요하고 여러 convolution이나 큰 커널을 사용할 여유가 없는 상황에서 추천)

4. DeepLab V3+가 현재 가장 최신 모델 : V3에 비해서 refine된 segmentation 결과를 얻음. precision과 runtime을 trade-off하는 parameter로 resolution을 조정할 수 있음

 

 

5. Popular Git Repositories for DeepLab

Tensorflow Official DeepLab git : github.com/tensorflow/models/tree/master/research/deeplab

tensorflow/models

Pytorch DeepLab git : github.com/jfzhang95/pytorch-deeplab-xception

jfzhang95/pytorch-deeplab-xception

6. ios example

github.com/tensorflow/examples/tree/master/lite/examples/image_segmentation/ios

tensorflow/examples

personal opinion

개인적으로 git repository wiki에 보여진 image의 퀄리티가 어떻게 나오는 건지 잘 모르겠다. pretrain된 모델을 몇 가지 제공하는데, 그걸 동일한 input image에 대해서 돌려보아도 주장하는 것과 동일한 결과를 얻기는 힘들었따. mobile에서 DL을 돌리는 것이 이렇게도 빡세다니 ㅠㅠ