I'm Lim

Paper Ma, Ningning, et al. "Shufflenet v2: Practical guidelines for efficient cnn architecture design." Proceedings of the European conference on computer vision (ECCV). 2018. Abstract Image Classification 모델들의 계산 복잡도의 평가지표로 FLOPs를 주로 사용하는데 이는 간접적인 평가지표이고, 직접적인 평가지표인 Speed는 메모리 접근 시간이나 플랫폼의 특성에 의존한다. 따라서, 이 논문에서는 특정 플랫폼에서 직접적인 평가지표를 이용하여 평가하는 것을 목표로 하였다. Introduction Image Classification 모델의 또 다..

Paper Howard, Andrew G., et al. "Mobilenets: Efficient convolutional neural networks for mobile vision applications." arXiv preprint arXiv:1704.04861 (2017). Abstract MobileNet은 depthwise seperable convolution을 이용하여 모델을 가볍게 만들었다. MobileNet Architecture 1. Depthwise Separable Convolution 1 ) 기존의 CNN 연산의 컴퓨터 계산량은 다음과 같다. 여기서 $D_k$는 커널의 크기이고, $N$은 출력 채널의 개수이며, $M$은 입력 채널의 개수, $D_F$는 feature map의 크기..

Paper Zoph, Barret, et al. "Learning transferable architectures for scalable image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018. Abstract Image Classification 모델을 개발하는 것은 상당한 노력이 필요하다. 이 논문에서는 데이터 셋에 맞게 알아서 모델 구조를 학습하는 방법을 연구한다. 이러한 방식은 데이터 셋이 크다면 굉장히 오래걸리기 때문에 작은 데이터 셋에서 그 구조를 만들고, 큰 데이터 셋으로 확장한다고 한다. 작은 데이터 셋으로 CIFAR-10을 이용하였고, 이를 통해 찾은 모델 구..

Paper Huang, Gao, et al. "Condensenet: An efficient densenet using learned group convolutions." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018. Abstract CondenseNet은 learned group convolution이라 불리는 새로운 모듈의 dense connectivity로 이루어진다. dense connectivity는 네트워크의 feature를 재사용하는데 유용한 반면, learned group convolution은 레이어간 불필요한 learning group convolution을 제거한다. Introdu..

Paper Hu, Jie, Li Shen, and Gang Sun. "Squeeze-and-excitation networks." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018. Abstract Xception이나 ResNext 등의 논문에서 제시한대로 이미지를 cross-channel correlation과 spatial correlation으로 나눠볼 수 있다면, 지금까지의 Image Classification 모델들은 Spatial correltation을 잘 처리하여 표현력을 증가시키는 방법을 연구해왔다고 볼 수 있다. SENet은 channel 방향의 channel correlation에 집중..

Paper Zhang, Xiangyu, et al. "Shufflenet: An extremely efficient convolutional neural network for mobile devices.". Proceedings of the IEEE conference on computer vision and pattern recognition. 2018. Abstract ShuffleNet은 제한된 하드웨어 사양을 가진 휴대기기에 특화된 모델이다. ShuffleNet은 Pointwise Group Convolution과 Channel shuffle을 사용하여 정확도를 유지하면서 계산량을 현저히 줄였다. ShuffleNet은 AlexNet의 성능을 유지하면서 13배나 빠른 연산을 한다. Introduct..

Paper Han, Dongyoon, Jiwhan Kim, and Junmo Kim. "Deep pyramidal residual networks." Proceedings of the IEEE conference on computer vision and pattern recognition. 2017. Abstract 일반적으로 Image Classification 모델은 spatial dimension을 Pooling을 통해 줄임과 동시에 정보량을 유지하기 위해 feature map의 channel 수를 급격히 증가시키는 방향성을 띈다. PyramidNet에서는 기존의 방식처럼 급격히 channel 수를 키우는 것이 아니라 점차적으로 증가시켰고, 이것이 모델의 일반화 능력을 향상시키는 효과적인 방법임을 ..

Paper Zhang, Xingcheng, et al. "Polynet: A pursuit of structural diversity in very deep networks." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017. Introduction Image classification 모델은 지속적으로 모델의 depth나 width를 키우는 방향성을 띄었다. 그러나, 논문의 실험에 따르면 어느정도의 깊이보다 깊어지면 오히려 성능이 감소했고, width를 무한정 키우는 것에도 문제가 있다고 한다. 그러한 이유로 Inception 모듈의 조합으로 PolyInception 모듈을 고안하였다. PolyInce..