1. Optimizer Neural Network 에서는 특정 기능을 수행하기 위해 Loss 값을 최소화하는 방향으로 학습한다. 이때 우리는 Loss를 낮추기 위해 각 Weight의 Gradient를 구했었다. 구한 Gradient를 바탕으로 Weight를 조정하는 과정을 Opimization 과정이라한다. 각 Optimizer의 방법은 극단적이진 않지만, 학습 효율이나, 정확성에 대해 유의미한 차이를 드러낸다. 모든 모델에 학습이 진행되기에 Optimizer을 재대로 이해하는 것은 매우 중요하다. 2. Stochastic Gradient Descent(SGD) Gradient Descent는 다변수 미분 방정식 이론에 근거하여 Neural Network의 Weight를 조정하는 방법이다. Gradien..
