[PyTorch] Gradient Descent 심화 실습 : 모두를 위한 딥러닝 시즌2

Gradient Descent 이론 요약 Gradient Descent는 비용 함수의 최솟값을 찾기 위해, 기울기를 사용하며 파라미터를 업데이트하는 방법이다. 아래 그래프의 경우 W=1일 때 Cost는 0으로 최솟값을 갖는다. 현재 파라미터에서 이차 함수의 기울기를 구하고, 학습률을 적용하여 파라미터값을 업데이트한다. 함수의 기울기가 0에 가까워질 때까지 이 과정을 반복한다.Gradient Descent 구현 코드  지난 포스팅에서는 torch.optim과 zero_grad, backward, step 함수들을 이용해서 Gradient Descent를 진행했다. 이번에는 앞서 언급한 함수를 사용하지 않고, 직접 Gradient를 계산하고 업데이트하는 코드를 작성했다. # Data definitionx_t..

2024.08.31