[ML lec 03] Linear Regression의 cost 최소화 알고리즘의 원리 설명

이번 포스트에서는 지난 포스트에서 말했던, cost function을 어떻게 최소화해서 최종적으로 Linear Regression 학습을 마치는 지에 대해서 다루겠습니다.

---

지난 포스트에서처럼 우리의 Hypothesis는 다음과 같습니다.

그럼 x = 1, 2, 3, y = 1, 2, 3인 데이터가 있다고 생각하고, cost를 구해봅시다.

우선 H(x) = Wx + b 에서 b는 없다고 생각하고, 계산을 해봅니다.

계산을 해보면 다음과 같이 나오게 됩니다.

각각은

W = 1, cost(W) = 0

W = 0, cost(W) = 4.67

W = 2, cost(W) = 4.67 이 되어집니다.

이 때 그래프는 다음과 같이 그려지게 됩니다.

이 때, 우리가 구해야 하는 것은 Cost의 최솟값입니다.

따라서 이 그래프에서의 최소값을 구하는 것이 학습의 목표입니다.

---

그렇다면, 이 최소값을 기계적으로 구하는 방법이 무엇이 있을까요?

가장 많이 사용하는 방법으로는 Gradient descent algorithm이 있습니다.

이는 경사를 따라 내려가는 알고리즘입니다.

Cost function을 최소화하고, 많은 최소화 문제에 사용됩니다.