Global Minima / Local Minima / Saddle Point

출처 : https://medium.com/analytics-vidhya/journey-of-gradient-descent-from-local-to-global-c851eba3d367

Global Minimum

loss function에서 loss 값이 가장 작은 지점. 이 지점에 도달하는 것이 딥러닝 학습의 최종 목표이다.

Local Minimum

Global Minimum이 아닌 극소점. 이것이 문제가 되는 이유는 딥러닝에서는 Gradient Descent를 이용하여 가중치 업데이트를 하는데 ($\theta = \theta - \eta * J(\theta)$; BGD) 극소점에서는 모든 가중치들의 기울기 값이 0이 되므로 더이상 가중치를 업데이트 시키지 못하기 때문이다.

Saddle Point

- Paper : Dauphin, Yann N., et al. "Identifying and attacking the saddle point problem in high-dimensional non-convex optimization." Advances in neural information processing systems 27 (2014).

 

  saddle point는 모든 가중치의 기울기는 0이지만 모든 가중치가 극소점은 아닌 지점이다. 

위 논문에 의하면, 고차원 데이터에서 진짜 문제가 되는 것은 local minimum이 아닌 saddle point라고 한다. local minimum은 모든 가중치들이 극소점이어야 성립하는데 사실상 고차원에서는 이 확률이 매우 낮다는 것이다.