Weight Initialization 신경망 학습에서 특히 중요한 것이 가중치의 초깃값이다. 가중치의 초깃값을 바탕으로 학습이 이루어지기 때문이다. 가중치의 설정이 잘못이루어질 경우 학습이 오래걸릴 수 있으며, 학습이 안되는 경우가 발생하기도 한다. 1. Zero Initialization 그렇다면 다같이 동일하게 0으로 초기화 시키면 어떨까? Gradient 값을 0으로 초기화할경우 모든 값이 0으로 초기화되어 학습이 진행되지 않고, 모든 신경망이 동일한 역할을 수행하기에 좋은 방법이 아니다. 2. Small Random Number 더 작은 값을 추출하기 위해 평균이 0인 정규 분포에서 0.01을 나누어 표준편차가 0.01인 가우시안 분포에서 무작위 초기화 진행을 한다. 해당 방법은 small da..
