예름의 개발 TIL

예름의 개발 TIL

  • 분류 전체보기 (104) N
    • Artificial Intelligence (55) N
      • 모두를 위한 딥러닝 (PyTorch) (13)
      • Computer Vision (10)
      • CS231n (Stanford) (17)
      • CS236 (Stanford) (12) N
    • Project Log (31)
      • 학부 졸업프로젝트 (31)
    • Mobile Programming (5)
    • AWS (3)
    • Node.js (1)
    • Distributed System (0)
    • Paper (4)
      • Robotics (1)
      • Ubiquitous AI (1)
      • How to read (1)
      • Human-centric Ubiquitous In.. (1)
      • Trustworthy AI (0)
    • Etc (5)
  • 홈
  • 태그
  • 방명록
RSS 피드
로그인
로그아웃 글쓰기 관리

예름의 개발 TIL

컨텐츠 검색

태그

stanford cs236 필기본 openAI API Key firebase pytorch Tensor Manipulation aws IoT core cs236: deep generative models gradient descent Learning rate django 프로젝트 구조 졸업프로젝트 cs231n: deep learning for computer vision 파이토치 aws lambda docker container 모두를 위한 딥러닝 시즌2 딥러닝 cost 계산 docker stanford cs231n 필기본 라즈베리파이

최근글

댓글

공지사항

아카이브

Learning rate(2)

  • [PyTorch] Gradient Descent 심화 실습 : 모두를 위한 딥러닝 시즌2

    Gradient Descent 이론 요약 Gradient Descent는 비용 함수의 최솟값을 찾기 위해, 기울기를 사용하며 파라미터를 업데이트하는 방법이다. 아래 그래프의 경우 W=1일 때 Cost는 0으로 최솟값을 갖는다. 현재 파라미터에서 이차 함수의 기울기를 구하고, 학습률을 적용하여 파라미터값을 업데이트한다. 함수의 기울기가 0에 가까워질 때까지 이 과정을 반복한다.Gradient Descent 구현 코드  지난 포스팅에서는 torch.optim과 zero_grad, backward, step 함수들을 이용해서 Gradient Descent를 진행했다. 이번에는 앞서 언급한 함수를 사용하지 않고, 직접 Gradient를 계산하고 업데이트하는 코드를 작성했다. # Data definitionx_t..

    2024.08.31
  • [PyTorch] Linear Regression 실습 : 모두를 위한 딥러닝 시즌2

    Linear regression 이론 요약 Cost의 정의 및 함수식에서 각 변수가 의미하는바, 일반 합 대신 제곱 합의 평균을 사용하는 이유가 중요하다. Cost는 평균 잔차 제곱(Mean Squared Error, MSE)으로도 불린다.Linear regression 구현 코드 입력은 x_train 변수에, 출력은 y_train 변수에 저장한다. Weight와 Bias를 모두 0으로 초기화함으로써, 항상 출력 0을 예측한다. requires_grad를 True로 설정하여, 학습하도록 명시한다. torch.mean을 사용하여 MSE를 간편하게 계산할 수 있다.   Gradient descent는 다음과 같이 구현한다. torch.optim 라이브러리를 사용하여, [W, b] 텐서를 학습한다. lr은 L..

    2024.08.30
이전
1
다음
티스토리
© 2018 TISTORY. All rights reserved.

티스토리툴바