I'm Lim

1. LeNet 구현 위 그림을 참조하여 아래와 같이 코드 구현을 진행하였습니다. class LeNet(nn.Module): def __init__(self): super(LeNet, self).__init__() self.conv1 = nn.Conv2d(in_channels=1, out_channels=6, kernel_size=5, stride=1, padding=0) self.conv2 = nn.Conv2d(in_channels=6, out_channels=16, kernel_size=5, stride=1, padding=0) self.conv3 = nn.Conv2d(in_channels=16, out_channels=120, kernel_size=5, stride=1, padding=0) self..

Paper Girshick, R. (2015). Fast r-cnn. In Proceedings of the IEEE international conference on computer vision (pp. 1440-1448). Abstract Fast R-CNN 모델은 기존의 R-CNN, SPP-Net, Overfeat과 달리 Classification과 Regression을 동시에 학습을 진행합니다. 또한, SPP-Net과 유사하게 학습시 입력으로 한장의 이미지만을 사용합니다. 그 결과, VGG-16을 기준으로 R-CNN에 비해 학습시간이 9배 빨랐고, SPP-Net에 비해 3배 빨랐다고합니다. 성능적인 측면에서도 mAP를 66%를 기록하면서 R-CNN보다 좋은 성능을 보였습니다. R-CNN and S..

Paper He, K., Zhang, X., Ren, S., & Sun, J. (2015). Spatial pyramid pooling in deep convolutional networks for visual recognition. IEEE transactions on pattern analysis and machine intelligence, 37(9), 1904-1916. Abstract 기존의 CNN 모델 ( e.g, VGGNet, GoogLeNet, etc ) 등은 224 크기의 고정된 이미지 사이즈를 입력으로 사용합니다. 논문에서는 이것이 성능 저하를 야기할 수 있다고 주장합니다. 이를 해결하기 위해, Spatila Pyramid Pooling 개념을 도입하여 위와 같은 제한을 없앴습니다. 그..

Paper Sermanet, P., Eigen, D., Zhang, X., Mathieu, M., Fergus, R., & LeCun, Y. (2013). Overfeat: Integrated recognition, localization and detection using convolutional networks. arXiv preprint arXiv:1312.6229. Introduction Overfeat 논문은 classification 문제와 detection 문제를 하나의 공유된 네트워크를 통해 학습시킵니다. 개인적인 생각으로 이 논문의 가장 핵심은 feature map을 sliding window의 관점으로 해석했다는 점입니다. Classification 1. Feature extractor..

1. Non Max Suppression (NMS) 1 ) NMS 개념 Selective Search를 통해 region proposal을 하면 과도하게 많은 영역을 제안하게 됩니다. 이는 학습시간을 오래 걸리게 하고, 실시간 적용을 힘들게 하는 주요 원인 중 하나라고 볼 수 있습니다. 따라서, 제안된 영역의 개수를 줄이는 방안이 필요했고, 그중 하나가 Non Max Supperession입니다. Non Max Suppression은 재밌는 2개의 아이디어를 가지고 있습니다. 올바르게 제안된 영역은 Confidence Score가 높을 것이다. 한 객체를 기준으로 영역 간 IOU가 높다면 이것은 같은 객체를 가르킬 가능성이 높다. 2 ) NMS 알고리즘 제안된 영역의 Confidence Score를 모두..

Paper Girshick, R., Donahue, J., Darrell, T., & Malik, J. (2014). Rich feature hierarchies for accurate object detection and semantic segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 580-587). Introduction 저자는 R-CNN 모델이 첫 번째로 ILSVRC 2012 우승 모델인 AlexNet을 사용하여 성능을 기존 모델 대비 30% 이상 올렸다는 점과 파인튜닝을 통해 성능을 향상했다는 점을 논문의 핵심 포인트로 꼽았습니다. R-CNN은 이름 그대로 Regio..

git init git을 생성하고 싶은 폴더 위에서 git init 명령어를 사용 git add 1. git add의 역할 git이 추적하고 있지 않은 파일을 추적하도록 합니다 (파일을 생성한 경우). 수정한 파일을 git이 추적하도록 합니다 (이미 커밋까지 한 파일을 수정한 경우). 2. git add 사용법 git add : 특정 파일을 git의 Staging area로 올립니다. git add . : 생성 및 수정한 파일 전부를 한번에 Staging area로 올립니다. git commit 1. git commit의 역할 체크포인트를 생성합니다. 커밋을 함으로써 Staging area에 있던 파일들을 Repository로 올립니다. 2. git commit 사용법 git commit -m "커밋 메..

Introduction 딥러닝은 optimizer로 Gradient Descent 기반의 기법을 사용합니다. 그러나, Quasi-Newton Method라는 다른 대안도 있습니다. 이 글에서는 왜 Quasi-Newton Method가 아닌 Gradient Descent을 사용하는지에 대해 알아보려고 합니다. Gradient Descent Gradient Descent의 기본적인 공식은 아래와 같습니다. $\large {\theta = \theta - \eta \nabla_{\theta} J(\theta)}$ Gradient Descent은 극소점을 찾는 것이 그 목적입니다. 위 식을 보면 알 수 있듯이, $J(\theta)$ 즉, 기울기가 0이 되버리는 순간에는 더 이상 $\theta$가 변하지 않고, ..