Lecun Initialization

Lecun Initialization

 Random Initialization은 극단적인 경우에 모든 가중치 값들이 1이 되거나 -1이 될 수 있다. 이것을 방지하면 되지 않을까라는 생각에서 나온 것이 Lecun Initialization이다. 즉, $Z_i = \Sigma {X_j W_j}$에서 $Z_i$의 범위를 -1에서 1로 만들어 줄 수 있다면 Saturation 영역에 빠지지 않기 때문에 Random initialization의 문제를 해결할 수 있을 것이라고 예상한 것이다.

 

Deep Neural Network

 

$Z_i = \Sigma {X_j W_j}$에서 $Z_i$의 범위를 -1에서 1로 만들기 위해서는 가중치를 i 레이어의 노드의 개수를 나눠주면 된다.

이 i 레이어의 노드의 개수를 $fan_{in}$라 한다.

이 말을 정리하자면, $\sigma^2 = \dfrac {1}{fan_{in}}$으로 하는 정규분포를 이용하여 가중치를 초기화하겠다는 뜻이 된다.

Lecun Initialization 공식

- Uniform Distribution 공식 유도

Uniform Distribution 표준편차 유도 공식

 

위 식으로 Uniform distribution의 표준편차를 구할 수 있다. a와 b는 서로 부호만 다른 관계다. 따라서, $\sigma = \sqrt{\dfrac{3}{fan_{in}}}$가 된다.

 

- Lecun Uniform Initialization

 

• $X \sim U(-\sqrt{\dfrac{3}{fan_{in}}}, \sqrt{\dfrac{3}{fan_{in}}})$

- Lecun Normal Initialization

 

• $X \sim N(0, \dfrac {1}{fan_{in}})$