배치 경사하강법 / 확률적 경사하강법 / 미니배치 경사하강법 활용처

 

배치 경사하강법(Batch Gradient Descent)

• 작은 규모의 데이터셋
• 정확한 최적화를 필요로 하는 경우
• 볼록 손실함수
• 모델이 충분한 메모리를 가지고 있는 경우
• 과적합이 없는 경우

 

확률적 경사하강법(Stochastic Gradient Descent)

• 대규모 데이터셋
• 온라인학습
• 비선형 최적화(그래디언트를 계산하기 어렵거나, 미분 불가할대)
• 규제(SGD는 L1, L2규제와 함께 사용되어 오버피팅 방지
• 신경망 학습

 

미니배치 경사하강법(Mini-Batch Gradient Descent) - 임의의 샘플에 대해 gradient 계산

• 대규모 데이터 셋
• 메모리 제약이 있는 경우
• 노이즈
• 계산 효용성(배치보다 속도가 빠름)
• 행렬 연산에 최적화된 하드웨어, 특히 GPU

 

최소값에 도달하는 경로

출처: 핸즈온 머신러닝