-
DeepLab V3+Deep Learning 공부자료 2020. 10. 30. 17:31
1. Tensorflow state-of-art deep learning model for semantic image segmentation
2. IOS example & Android example + tensorflow lite API 제공
3. Semantic Image Segmentation : image에서 각 pixel이 어떤 class와 관련되어 있는지 예측하는 모델
-
atrous convolution 사용 : Dilated Convolution이라고 해서, 확장된 conv를 의미. convolutional layer에 또 다른 parameter인 dilation rate를 도입한 것. dilation rate는 커널 사이의 간격을 정의
ex) dilation rate가 2인 3X3 kernel은 9개의 parameter로 5X5를 커버할 수 있음 = 동일한 computation load로 더 넓게 cover (적은 parameter & 적은 연산량을 달성할 수 있는 이유)
real-time segmentation 분야에서 주로 사용 (넓은 시야가 필요하고 여러 convolution이나 큰 커널을 사용할 여유가 없는 상황에서 추천)
4. DeepLab V3+가 현재 가장 최신 모델 : V3에 비해서 refine된 segmentation 결과를 얻음. precision과 runtime을 trade-off하는 parameter로 resolution을 조정할 수 있음
5. Popular Git Repositories for DeepLab
Tensorflow Official DeepLab git : github.com/tensorflow/models/tree/master/research/deeplab
tensorflow/models
Models and examples built with TensorFlow. Contribute to tensorflow/models development by creating an account on GitHub.
github.com
Pytorch DeepLab git : github.com/jfzhang95/pytorch-deeplab-xception
jfzhang95/pytorch-deeplab-xception
DeepLab v3+ model in PyTorch. Support different backbones. - jfzhang95/pytorch-deeplab-xception
github.com
6. ios example
github.com/tensorflow/examples/tree/master/lite/examples/image_segmentation/ios
tensorflow/examples
TensorFlow examples. Contribute to tensorflow/examples development by creating an account on GitHub.
github.com
personal opinion
더보기개인적으로 git repository wiki에 보여진 image의 퀄리티가 어떻게 나오는 건지 잘 모르겠다. pretrain된 모델을 몇 가지 제공하는데, 그걸 동일한 input image에 대해서 돌려보아도 주장하는 것과 동일한 결과를 얻기는 힘들었따. mobile에서 DL을 돌리는 것이 이렇게도 빡세다니 ㅠㅠ
-
