Gradient Descent 이론 요약 Gradient Descent는 비용 함수의 최솟값을 찾기 위해, 기울기를 사용하며 파라미터를 업데이트하는 방법이다. 아래 그래프의 경우 W=1일 때 Cost는 0으로 최솟값을 갖는다. 현재 파라미터에서 이차 함수의 기울기를 구하고, 학습률을 적용하여 파라미터값을 업데이트한다. 함수의 기울기가 0에 가까워질 때까지 이 과정을 반복한다.Gradient Descent 구현 코드  지난 포스팅에서는 torch.optim과 zero_grad, backward, step 함수들을 이용해서 Gradient Descent를 진행했다. 이번에는 앞서 언급한 함수를 사용하지 않고, 직접 Gradient를 계산하고 업데이트하는 코드를 작성했다. # Data definitionx_t..

Linear regression 이론 요약 Cost의 정의 및 함수식에서 각 변수가 의미하는바, 일반 합 대신 제곱 합의 평균을 사용하는 이유가 중요하다. Cost는 평균 잔차 제곱(Mean Squared Error, MSE)으로도 불린다.Linear regression 구현 코드 입력은 x_train 변수에, 출력은 y_train 변수에 저장한다. Weight와 Bias를 모두 0으로 초기화함으로써, 항상 출력 0을 예측한다. requires_grad를 True로 설정하여, 학습하도록 명시한다. torch.mean을 사용하여 MSE를 간편하게 계산할 수 있다.   Gradient descent는 다음과 같이 구현한다. torch.optim 라이브러리를 사용하여, [W, b] 텐서를 학습한다. lr은 L..

Linear regression with one variableModel representationm = 훈련 데이터 개수, x = input 변수 (features), y = output 변수 (target 변수) Cost function비용 함수 J를 최소화 해야 함.Gradient DescentLearning rate α가 너무 작으면, gradient descent는 느릴 수 있음.Learning rate α가 너무 크면, gradient descent는 최소값을 overshoot하여 수렴에 실패할 수 있음. Learning rate α 값만 수정해도, local minimum에 수렴하도록 할 수 있음. Linear regression with multiple variableModel repres..