손실 함수 (Loss Function)

손실 함수(Loss Function)는 머신러닝 및 딥러닝 모델이 예측한 값과 실제 값 간의 차이를 측정하는 데 사용되는 함수이다. 손실 함수는 모델 학습에서 매우 중요한 역할을 하며, 이 함수의 값을 최소화하는 것이 모델의 성능을 높이는 데 목표가 된다.

 

손실함수는 예측 값과 실제 값이 얼마나 다른지에 대해서 양수를 출력한다.

1. 회귀 문제에서의 손실 함수

평균 제곱 오차(MSE, Mean Squared Error)

• 정의: 예측값과 실제값의 차이를 제곱한 후 평균을 구한 값이다.
• 특징: 큰 오차에 대해 더 큰 페널티를 부여하며, 작은 오차일수록 영향이 적다. 
  • 모델의 큰 오차를 중요하게 다루는 경우에 많이 사용한다.

 

평균 절대 오차(MAE, Mean Absolute Error)

• 정의: 예측값과 실제값의 차이의 절대값을 평균한 값다.
• 특징: 이상치(outlier)에 덜 민감하며, 모든 오차를 동일하게 취급한다. 

 

Huber 손실(Huber Loss)

• 정의: MSE와 MAE를 절충한 형태로, 작은 오차에는 MSE처럼 작용하고 큰 오차에는 MAE처럼 작용한다.
• 특징: 이상치에 대해 MAE보다 덜 민감하며, 수렴 속도가 빠르다.

 

2. 분류 문제에서의 손실 함수

이진 교차 엔트로피(Binary Cross-Entropy)

 

• 정의: 이진 분류 문제에서 사용되는 손실 함수로, 예측된 확률과 실제 클래스 사이의 차이를 측정한다.
• 특징: 출력이 확률 값으로 표현되며, 확률이 0 또는 1에 가까울수록 손실이 낮아진다.

 

 

로지스틱 회귀(Logistic Regression)에서 BCE를 사용하는 이유

 

범주형 교차 엔트로피(Categorical Cross-Entropy)

 

• 정의: 다중 클래스 분류 문제에서 사용되는 손실 함수로, 여러 클래스 중 하나를 예측할 때 사용된다.
• 특징: 소프트맥스(Softmax) 함수와 결합하여 클래스 확률을 계산한다.

BCE는 k=2일때의 식과 같다.