[Week 6- Day 5] 회고

#  오늘 한 실험 기록

22-02-26 실험 기록

• 실험하다가 중간에 train & eval 성능 비교를 위해 Acc 추가해줌.
• image tranform를 거쳐서 데이터가 입력되므로 torchvision에 있는 transforms로 변환하면서 시각화함.

 

 

# CrossEntropy  VS  Focal Loss

Focal Loss (Focal Loss for Dense Object Detection) 알아보기

Focal Loss 는

Cross Entropy 의 클래스 불균형 문제를 다루기 위한 개선된 버전으로,

어렵거나 쉽게 오분류되는 케이스에 대하여 더 큰 가중치를 주는 방법을 사용.

 

# Adam  VS  AdamW optimizer

[논문 리뷰] AdamW에 대해 알아보자! Decoupled weight decay regularization 논문 리뷰(1)

• 관련 논문 : Decoupled weight decay regulatization - https://arxiv.org/abs/1711.05101
• Weight Decay?
  • gradient descent에서 weight 업데이트 할 때, 이전 weight 값을 일정 비율 감소시킴으로써, overfitting 방지하는 방법.
  • 아래 람다를 decay rate이라 부르고, 0~1 사이의 값으로 설정해야 하는 hyper-parameter다.

weight decay 식

• L2 regularization과 weight decay는 정말 같은 것일까? 정답은 일부는 맞고 일부는 틀리다. SGD에 대해서는 맞지만 Adam에 대해서는 틀리다. Adam을 포함한 adaptive learning rate를 사용하는 optimizer들은 SGD와 다른 weight 업데이트 식을 사용하기 때문이다. L2 regularization이 포함된 손실함수를 Adam을 사용하여 최적화할 경우 일반화 효과를 덜 보게 된다.
•  decay rate라 부르고, 0~1 사이 값으로 설정하는 hyper-parameter다.
• gradient descent에서 weight 업데이트 할 때, 이전 weight값을 일정 비율 감소시킴으로써, overfitting 방지하는 방법.

 

 

## 피어 세션

미션 : 마스터 아워- 질문에 대해 답하는 방식으로 진행하였는데, 되게 기운이 났다.

 

모델 베이스라인 짠 것 칭찬한다. 초반에 마음만 급한 나머지 아무 생각없이 모델을 돌리려고 하고, 입력 데이터에 대한 로드를 많이 수정했다. 캐글 스터디에서도 마스터님 피드백을 들으면서, 정말 중요한 것은 데이터라는 것을 깨달았다.

데이터를 중심으로 왜 그럴까를 생각하는 습관을 기르도록 실험 기록 피드백을 적어두어야 겠다!

 

확실히 아침부터 저녁까지 줌으로 계속 함께하니까 더욱 친밀해진 것 같은 기분이다.

실험같은 것도 결과나 모르는 거 계속 물어보는 게 정말 좋았던 것 같다. 어제는 train & eval 코드 때문에 애먹었는데 덕분에 잘 해결했다.

 

어제 상당히 제출하고 나서 부끄러웠는데, 아침에 메타몽 마스터님의 댓글을 보면서 멘탈을 되찾았다..!

그래 나는 모두 처음 해보는 일인데 못할 수도 있지, 어제보다 더 나은 내가 되기 위해 우선순위를 정하고 차근히 진행하자 고 다짐했다.

그런 마음으로 데일리 스크럼을 마치고 .ipynb 코드들을 .py로 옮기고 베이스라인 코드에서 필요한 부분을 가져왔다.

그렇게 차근히 진행하니 이제는 실험 기록까지 할 수 있는 상태가 되어서 이것저것 돌려보고, 그 시간에 관련 내용 찾아보니 좋았다.

 

A bunch of tips and tricks for training deep neural networks

 

지금은 이제 다음 행동을 하려고 한다.

• EarlyStopping 이나 no_hub(?)으로 실행하는 방법을 찾아보고 설정해야지.
• 불균형 클래스의 이미지 augmentation 해야지.
• SOTA.csv 다운로드해서 test.csv와 비교할 수 있는 함수를 만들어야지.

 

어제 PyCharm을 강력하게 영업 당해서, 언젠가 한 번 환경 세팅을 하고 싶다.