torch.autograd는 신경망(NN) 훈련을 지원하는 PyTorch의 자동미분 엔진이다. 이 포스트를 읽으면, 어떻게 AutoGrad가 신경망 훈련을 돕는지 개념적인 이해를 할 수 있을 것이다. 신경망은 2가지 단계로 훈련이 일어난다. 1. Forward Propagation 2. Backward Propagation 전반적인 코드 흐름은 다음과 같다. 1. 모델 및 데이터를 생성 한다. 2. Forward pass : 입력 데이터를 모델로 예측한다. 3. 예측에 대한 loss값을 계산한다. 4. Backward pass : 각 모델 파라미터를 loss에 대해 미분하여 저장한다. 5. optimizer로 모델 파라미터의 최적값을 찾기 위해, 변수들을 업데이트 한다. # AutoGrad에서의 미분 T..

확률론은 도박에서 시작되었다. 주사위, 카드, 동전과 같은 것들은 사람들이 도박에서 사용하는 것들이다. 이러한 상황이 발생할 확률이 어떻게 되는지에 대해 말하는 것이다. 수학이 확실성의 논리라면, 통계학은 불확실성의 논리다. 표본공간: 어떤 실험에서 가능한 모든 경우의 집합을 의미. 집합의 원소는 실험에서 가능한 결과들이 되는 것이다. 사건: 표본공간의 부분 집합을 의미. # 사람들의 접근 방식 직관적으로 써내려 가면서 해결하려고 한다. (ex. 합집합 & 교집합을 이용해 수학적으로 정확하게 만듬.) 많이 생각하고 많은 문제를 풀수록, 직관적이게 된다. 실제로 생각할 수 있는 구체적 예시를 참고하는 건 굉장히 도움된다. 수형도를 가지고 생각하는 것을 추천한다. 훨씬 구조화되어 있어 실수할 확률이 적어진다..

apply() 메서드는 해당 Module의 모든 sub-module에 인수받은 함수를 적용시켜준다. 예를 들면, 다음과 같이 Seqential 모듈의 가중치를 1로 초기화시킬 수 있다. @torch.no_grad() def init_weights(m): print(m) if type(m) == nn.Linear: m.weight.fill_(1.0) print(m.weight) net = nn.Sequential(nn.Linear(2, 2), nn.Linear(2, 2)) net.apply(init_weights)

Container는 여러 개의 Module들을 묶어서 사용하고 싶을 때 사용한다. 다음은 PyTorch에서 제공하는 Container들이다. Module 모든 신경망 모델들의 base 클래스 Sequential 하나의 순차적인 container ModuleList sub-module들을 하나의 list로 가짐 ModuleDict sub-module들을 하나의 dict로 가짐 ParameterList Parameter들을 하나의 list로 가짐 ParameterDict Parameter들을 하나의 dict로 가짐 # Sequential 생성자에 전달된 순서대로 인수된 Module이 추가된다. 여기서 인수로는 *Module나 OrderDict로 모듈을 전달할 수 있다. Sequential의 forward()..

모든 신경말 모델들의 base 클래스로서, 여러 기능들을 한 곳에 모아놓는 상자 역할을 한다. 또한 이 클래스는 다른 nn.Module도 포함하여 트리 구조로 중첩할 수도 있다. 따라서 nn.Module 클래스는 빈 상자일 뿐 어떻게 설계할지는 사용자의 몫이다. 예를 들면, 기본적으로 다음과 같이 구성할 수 있다. import torch.nn as nn import torch.nn.functional as F class Model(nn.Module): def __init__(self): super(Model, self).__init__() self.conv1 = nn.Conv2d(1, 20, 5) self.conv2 = nn.Conv2d(20, 20, 5) def forward(self, x): x = ..

# PyTorch 딥러닝 모델을 짜기 위한 프레임워크. 예전에는 Julia, Keras 등등 수많은 딥러닝 프레임워크가 존재했지만, PyTorch와 TensorFlow가 남았다고 볼 수 있다. 여기서 Keras는 어떤 기능이 있기 보다는 Wrapper로서, 고수준 API라고 볼 수 있다. 딥러닝 프레임워크가 필요한 이유는 기초부터 다짜서, 프로젝트를 완성하기에는 너무 오랜시간이 걸리기 때문이다. 하지만 실제로 기본 바닥부터 짜기도 한다. 만약 원한다면, 를 보는 것을 추천한다. TensorFlow PyTorch Define and run Define by Run Dynamic Computation Graph (DCG) static graph 그려서, 나중에 실행시점에 역전파가 일어남. graph를 작성하..