[딥러닝 입문 - 6] 단일 회귀 분석과 다중 회귀 분석(2/4)

6.1.5. Step 3 : 최적의 파라미터를 구함 (단일 회귀 분석)

이 목적 함수를 최소화하는 매개 변수를 구합니다. 여기에서 목적 함수는 차이의 제곱합이며, 항상 양수 또는 0을 취하는 아래로 볼록한 이차 함수가 됩니다.(일반적으로 대부분의 경우, 최적의 매개 변수를 사용하여도 모델이 모든 데이터를 완벽하게 표현하지는 못하며, 목적 함수의 값은 0이 되지 않습니다.)

 

목적 함수의 값이 최소가 되는 점을 구할 때, 미분 지식이 유용합니다. 미분은, 대상으로 하는 함수의 접선 기울기를 구할 수 있습니다. 볼록 함수는 접선의 기울기가 0인 점에서 함수의 최솟값 또는 최대 값을 얻을 수 있습니다. 목적 함수가 x에 대한 이차 함수이기 때문에 아래 그림과 같이 무게 w에 대한 접선의 기울기가 0일 때, 목적 함수의 값이 최소가 됩니다.

그럼 구체적으로 이번에 결정한 목적 함수 L을 매개 변수 w로 미분해 봅시다. 미분에 대한 기본적인 계산법과 성질은 앞 장에서 소개했습니다.

 

[딥러닝 입문 - 3] 미분의 기초 (1/3)

 

 

여기서 미분의 선형성으로부터, 합의 미분은 미분의 합이 되기 때문에,

 

로 변형할 수 있습니다.

 

 

Sum을 의미하는 ∑ 속의 각 항에 주목하면,

 

 

가 되며, 이 부분은

 

와 그 제곱 함수의 합성 함수입니다.

 

그래서

 

 

로 놓고 계산하면

 

 

를 얻을 수 있습니다. 이를

 

의 식으로 되돌리면

 

입니다.

 

이 도함수의 값이 0이 될 때의 w가 목적 함수를 최소로 하는 매개 변수입니다.

 

그래서

 

으로 두고, w를 구합니다.

이로부터

 

 

로 정리됩니다. 이를 최적 w라고 합니다. 이 값은 주어진 데이터 세트

 

로만 결정됩니다.

 

 

6.1.6. 수치 예

앞장의 월세 예제에 주어진 수치로 매개 변수 w를 구해봅시다.

우선 데이터의 중심화를 위해 평균값을 미리 계산합니다.

 

이 평균값을 사용하여 모든 변수에 대하여 중심화를 수행하면

 

가 됩니다.

 

이러한 중심화 이후의 값을 이용하여 최적의 파라미터 w를 계산하면

 

 

로 구해집니다. 따라서 월세가 1제곱미터 증가할 때마다, 2,375 원의 월세가 상승한다고 볼 수 있습니다.

 

이 w를 사용하여 결정되는 직선

 

와, 학습 데이터로 사용된 3개의 점을 이은 그림이 아래입니다.

 

이 직선상의 점 y값은, 대응되는 x값에 대해 여기서 훈련한 모델에 의한 예측값입니다. 여기서 x,y축에 음수 값을 취하고 있습니다만, 이는 중심화 후의 점이라는 점에 유의하십시오.

 

훈련된 모델을 사용하여 새 샘플에 대한 월세를 예측해 보겠습니다.

예를 들어, 방 넓이가 50제곱미터인 경우에 대한 월세를 예측해 보면

 

 

이렇게 방 넓이가 50제곱미터인 경우, 월세가 133,750원이라고 예측할 수 있습니다. 위의 예처럼 모델링 시 중심화 처리를 수행한 부분은 추론 시에는 다시 원래대로 되돌려서 계산해야 합니다.

 

[딥러닝 입문 - 6] 단일 회귀 분석과 다중 회귀 분석(3/4)

[딥러닝 입문 - 6] 단일 회귀 분석과 다중 회귀 분석(3/4)