경사하강법(Gradient_Descent)으로 선형회귀 문제 풀기

# 경사하강법

다음 상태 = 현재 상태 - 학습률 * 미분(비용함수)

 

# 선형회귀 모델

가설 함수 = 가중치 * 변수 + 절편

비용 함수 = 평균[(가설함수(변수) - 실제 값)^2]

 

 

목적.

비용함수의 값을 최소화함으로써

선형회귀 모델의 가중치와 절편을 구하는 것이다.

 

Q. 미지수인 가중치와 절편을 각각의 식은?

일단, 비용함수를 최소화하는 것이 목표이므로

미분을 통해 비용함수 값이 0이 되는 가중치와 절편을 찾아야 한다.

 

찾고자 하는 것이 가중치이면, 가중치에 대해 비용함수를 미분하고,

찾고자 하는 것이 절편이라면, 절편에 대해 비용함수를 미분한다.

 

따라서 각각에 대해 미분을 적용하면 다음과 같은 식이 계산된다.

가중치 = 1/m * 합(가설함수(변수) - 실제 값) * 변수

절편 = 1/m * 합(가설함수(변수) - 실제 값)