손실(Loss)

                                                                                                                                                         

                                                                                                                                                                                                                   

                                                                                                                                                         

                                                                                                                                                                                                              

                                                                                                                                                                                                              

모델을 학습시킨다는 것은 단순히 말하자면 라벨이 있는 데이터로부터 올바른 가중치와 편향값을 학습(결정)하는 것이다. 지도 학습에서 머신러닝 알고리즘은 다양한 예를 검토하고 손실을 최소화 하는 모델을 찾아봄으로써 모델을 만들어내는데, 이 과정을 경험적 위험 최소화라고 한다.

손실은 잘못된 예측에 대한 벌점이다. 즉, 손실은 한 가지 예에서 모델의 예측이 얼마나 잘못되었는지를 나타내는 수다. 모델의 예측이 완벽하면 손실은 0이고 그렇지 않으면 손실은 그보다 커진다. 모델 학습의 목표는 모든 예에서 평균적으로 작은 손실을 갖는 가중치와 편향의 집합을 찾는 것이다. 예를 들어 그림 3에서 왼쪽은 손실이 큰 모델이고 오른쪽은 손실이 작은 모델이다. 그림에 관해 다음 사항을 참고한다.

• 빨간색 화살표는 손실을 나타낸다.
• 파란색 직선은 예측을 나타낸다.

그림 3. 왼쪽 모델은 손실이 크고 오른쪽 모델은 손실이 작음

L2-loss

Squared Error

실제값과 관측값 사이의 차이의 제곱을 의미한다.

 

손실을 줄이기 위하여 Gradient Descent 방식이 사용된다.

 

---

Reference

• https://developers.google.com/machine-learning/crash-course/descending-into-ml/training-and-loss?hl=ko