I'm Lim

Paper Hu, Jie, Li Shen, and Gang Sun. "Squeeze-and-excitation networks." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018. Abstract Xception이나 ResNext 등의 논문에서 제시한대로 이미지를 cross-channel correlation과 spatial correlation으로 나눠볼 수 있다면, 지금까지의 Image Classification 모델들은 Spatial correltation을 잘 처리하여 표현력을 증가시키는 방법을 연구해왔다고 볼 수 있다. SENet은 channel 방향의 channel correlation에 집중..

Paper Zhang, Xiangyu, et al. "Shufflenet: An extremely efficient convolutional neural network for mobile devices.". Proceedings of the IEEE conference on computer vision and pattern recognition. 2018. Abstract ShuffleNet은 제한된 하드웨어 사양을 가진 휴대기기에 특화된 모델이다. ShuffleNet은 Pointwise Group Convolution과 Channel shuffle을 사용하여 정확도를 유지하면서 계산량을 현저히 줄였다. ShuffleNet은 AlexNet의 성능을 유지하면서 13배나 빠른 연산을 한다. Introduct..

Paper Han, Dongyoon, Jiwhan Kim, and Junmo Kim. "Deep pyramidal residual networks." Proceedings of the IEEE conference on computer vision and pattern recognition. 2017. Abstract 일반적으로 Image Classification 모델은 spatial dimension을 Pooling을 통해 줄임과 동시에 정보량을 유지하기 위해 feature map의 channel 수를 급격히 증가시키는 방향성을 띈다. PyramidNet에서는 기존의 방식처럼 급격히 channel 수를 키우는 것이 아니라 점차적으로 증가시켰고, 이것이 모델의 일반화 능력을 향상시키는 효과적인 방법임을 ..

Paper Zhang, Xingcheng, et al. "Polynet: A pursuit of structural diversity in very deep networks." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017. Introduction Image classification 모델은 지속적으로 모델의 depth나 width를 키우는 방향성을 띄었다. 그러나, 논문의 실험에 따르면 어느정도의 깊이보다 깊어지면 오히려 성능이 감소했고, width를 무한정 키우는 것에도 문제가 있다고 한다. 그러한 이유로 Inception 모듈의 조합으로 PolyInception 모듈을 고안하였다. PolyInce..

Paper Xie, Saining, et al. "Aggregated residual transformations for deep neural networks." Proceedings of the IEEE conference on computer vision and pattern recognition. 2017. Abstract ResNext는 기존의 모듈기반의 Image Classification 모델과 같이 모듈을 반복적으로 쌓는 구조를 갖는다. 그러나, ResNext는 기존의 모델에서 필수적인 요소로 여겨지던 "Width"와 "Depth"에 "Cardinality"라는 요소를 도입하였다. Cardinality를 증가시키는 것이 width나 depth를 증가시키는 것보다 성능 개선에 훨씬 효과적이라고..

Paper Chollet, François. "Xception: Deep learning with depthwise separable convolutions." Proceedings of the IEEE conference on computer vision and pattern recognition. 2017. Abstract Xception은 Inception 모듈을 depthwise seperable convolution의 관점으로 바라본다. 이 관점으로 새로운 모듈을 만들고, 이를 적용시켜 Inception v3보다 성능을 높였다. Xception은 Inception v3와 같은 수의 파라미터를 가지는데 성능이 더 높았다. 논문에서는 파라미터의 수가 같았기 때문에 Xception의 성능 개선은 표현..

Paper Iandola, Forrest N., et al. "SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 0.5 MB model size." arXiv preprint arXiv:1602.07360 (2016). Abstract & Introduction CNN 구조가 복잡해짐에 따라 모델이 요구하는 메모리가 증가하였다. CNN 모델의 크기를 줄이는 것은 세가지의 이점이 있다. 1 ) 분산 학습시 서버 간에 주고 받아야 할 데이터가 줄어든다. 2 ) 자율주행을 위해 클라우드에서 모델을 불러올 때, 작은 대역폭을 요구할 수 있다. 3 ) FPGA나 제한된 메모리를 요하는 하드웨어에 올릴 수 있다. 위 세가지의 이점을 실현시키기 위해..

Paper Huang, Gao, et al. "Densely connected convolutional networks." Proceedings of the IEEE conference on computer vision and pattern recognition. 2017. Abstract ResNet 논문에서 레이어 간 shortcut connection을 이용하였을 때 더욱 안정적이고, 빠르게 학습 함을 보였다. ResNet이 레이어 간의 shotcut connection을 가지는 구조라면, DenseNet은 이전 모든 레이어와 현재 레이어에 shortcut connection을 가지는 구조다. 따라서, ResNet의 shortcut connection의 개수가 $L$개라면, DenseNet은 $\d..