[Week 4- Day 1] 회고

# DL 연구를 볼 때 주목할 포인트

• data : that the model can learn from
• model : how to transform the data  (ex. AlexNet, GoogLeNet, ResNet, LSTM, Deep Auto Encoders, GAN 등)
• loss function : that quantifies the badness of the model
  • 회귀 : MSE
  • 분류 : CE
  • 확률 : MLE
• algorithm : to adjust the parameters to minimize the loss  (ex. SGD, Adam, RAdam 등)

 

# Regularization (정규화)(규제)

• Dropout
• Early Stopping
• K-Fold Validation
• Weight Decay
• Batch Normalization
• Mix up
• Ensemble
• Baysian Optimization

 

# Matrix

: to regard it as a mapping between two vector spaces.

X(10*1)  =={W, b}==>  y(3*1)

y(3*1) = W.T(10*3)*X(10*1) + b(10*1)

 

 

## 피어 세션

같은 입력유닛에 대해 다른 히든유닛의 초기값이 동일하면 안좋다고 한다.

왜 그런지 질문을 했는데, 서로 다른 역할을 하는 유닛이면 그에 맞는 최적의 초기값으로 하는 게 좋다.

또 실험을 할 때, 다른 히든유닛에 대해 같은 값으로 초기화한다면, 실험을 하는 이유가 사라진다.

초기값을 잘 잡는게 중요한 모델이 있어서, 이와 관련된 여러 테크닉도 존재한다고 한다.

 

다른 분들도 질문하고, 대화하는 걸 보았는데, 내가 정말 안일하게 코드를 넘기고 있었구나 느꼈다.

이제 본격적으로 프로젝트 주간이 다가오고 있다.

코드를 위주로 잘 정리해봐야겠다.

또 내가 너무 친절한 거 아닌가 하는 생각도 든다. 이젠 어느정도 ML에 관심많은 사람을 대상으로 포스팅하자.