경사 하강법의 조기 종료

조기 종료 : 검증 에러가 최소에 도달하는 즉시 훈련을 멈추는 것

- 실제로 최소값에 도달했는지 알 수 없기 때문에, 검증 에러가 일정 시간 동안 최솟값 보다 클 때 학습을 멈추고 최소 였을 때 모델 파라미터를 선택함

- 경사하강법에서 에포크를 증가시키다보면, 어느 순간 과적합으로 인해 검증에러가 증가하는 순간이 생긴다.

- 그럴 때 조기종료를 사용해 최적의 모델을 선택하고 반복 훈련을 멈추는 게 좋다

 

python 코드

- 사이킷런 : SGDRegressor(warm_start=Ture)

               위 함수에 warm_start=True 옵션 추가하면, fit() 메서드가 호출될 때,

               처음부터 다시 시작하지 않고 이전 모델 파라미터에서 훈련을 이어갈 수 있음