Adam Optimizer

Paper

Ruder, Sebastian. "An overview of gradient descent optimization algorithms." arXiv preprint arXiv:1609.04747 (2016).

논문이 가지는 의미

다양한 optimization 기법을 통해 어떠한 이유로 optimization이 발전해왔는지에 대해 고찰해볼 수 있다. 또한, 어떤 optimization 기법을 사용해야 될지에 관한 직관을 키울 수 있다.

 

1. Adaptive momentum Estimation Optimizer (Adam)

 

AdaGrad 계열 Optimizer 정리에서 사용하였던 $g_t$를 다시 정의 해보면 $g_t = \nabla_{\theta_t} J(\theta_{t,i})$이다.

Adam은 Momentum과 AdaGrad 계열을 동시에 고려한 Optimizer이다.

$m_0$ 와 $v_0$는 0으로 초기화 되는데 저자는 $\beta_1$과 $\beta_2$가 1에 가깝다면 $m_t$와 $v_t$가 초기에 0에 편향되는 것을 발견하였다고 한다. 이 편향을 제거하기 위해서 $m_t$와 $v_t$에 다음과 같은 변형을 가한다.

 

 

최종적으로 Adam은 다음과 같은 규칙에 의해 업데이트 된다.

 

 

Adam 특징

 

제일 많이 쓰이며 성능이 다른 Optimizer에 비해 좋다고 알려져있다.