[Week 2- Day 3] 회고

# 남이 만든 Model 가져오기

Model을 저장하는 방법

- 아키텍처(architecture) 저장 --> NLP에서는 HuggingFace가 사실상 표준

- 파라미터(parameter) 값 저장 --> checkpoint 가져오기

(Checkpoint = 중간결과 저장)

 

Colab Pro

Colab이 꺼지면 결과가 날라가는데, Pro를 결제하면 저장하거나 카톡으로 결과를 보내놓을 수 있다.

 

 

pre-trained Model 활용 시, Parameter 일부분을 frozen 시켜 학습함.

ex. [param1, frozen-param2, frozen-param3, frozen-param4, frozen-param5]

 

.pth 파일은 pytorch extension 뭐시기 하는 파일인데, 그냥 .pt 파일로 쓰면 됨.

 

 

# Monitoring 도구 (train 관리 시각화= long-long-long train time 필요)

- TensorBoard : 학습 그래프, metraic 등 그래프화 해줌.

- Weight & biases : git처럼 협업하기 위해 사용하기 좋음.

 

어디까지 train했나, 어느 parameter가 더 좋은가, 어떤 model이 더 효율적일까 등을 실험하기 위해

print()문 대신에 다양한 도구를 활용해봐라.

 

 

## 피어 세션

이번 주 기본과제1에서 forward hook인가를 풀면서, backward()로 역전파를 계산하는 방법이 많이 헷갈렸다.

결국은 backward()에서 .grad로 실제 미분한 값을 저장하는데, 이게 array로 저장하는 것이 아닌 value값으로 저장한다.

그 이유는 모델이 커지고, DCG가 많아지면, 그만큼 저장할 데이터양도 많아져 원치않게 HW자원을 초과할 수도 있기 때문이라고 한다.

내가 궁금했던 것은

- dL/dw를 계산할 때, 미분한 결과값에 추가로 dw/dx계산하여 곱하는 방식으로 parameter를 update하는 것인지?

- 아니면 x에 대한 식을 구한 뒤에, 그 식을 미분한 식을 계산하는 것인지?

 

 

Lisp 이라는 언어는 (((()))) 괄호가 굉장히 많다고 한다. 아 진짜 지금봐도 너무 웃기닼ㅋㅋㅋㅋㅋㅋㅋ

 

멘토링 시간을 갖었는데, 여러모로 논문을 보는 방법 등에 대해 많은 얘기를 나누었다.

- 논문 큐레이션 사이트: https://paperswithcode.com/

- 앤드류 응 의 논문읽기 조언: https://media-ai.tistory.com/7

• 읽을 논문목록을 정리해두자.
• 논문을 읽을 때는 하나만 보는 것이 아니라, 병렬적으로 찾아볼 것 이다. 그러니 자세히 읽어야 할 논문을 취사선택해라. 아마 10~20%는 읽을 것이다. 만약 5~20개 정도 읽었다면, ML/DL 시스템을 적용할 지식은 갖춘 것이고, 50~100개를 읽으면, 해당 분야에 대해 자세히 알게 될 것이다.
• 정독보다는 생략해되 여러 번 읽자. 순서는 논문제목, 초록(abstract), 그림설명을 읽고 기본적인 컨셉과 아이디어를 파악해라. 그 다음 도입, 결론, 도표를 읽는데 필요없는 부분은 과감히 생략해라.(+ 수식) 이해가 안되는 부분은 시간낭비니 전체적으로 읽어라.
• 논문을 다 읽고 나면, 다음 질문에 답해라. Q. 저자가 뭘 해내고 싶어했는지? 이 연구의 접근에서 중요한 요소는 무엇인지? 당신은 스스로 이 논문을 이용할 수 있는지? 당신이 참고하고 싶은 다른 레퍼런스에는 어떤 것이 있는지?
• 추가로 직업을 선택할 때는, (빡센 사람들과 함께하는 것이 좋은 영향을 준다) 같이 일할 팀과 팀 책임자에 대해 잘 알아봐라.

- [추천] ResNet(2015): https://deep-learning-study.tistory.com/473

 

처음 읽는다면 본인이 관심있어 하는 논문을 읽는 것이 좋다. 회사 들어가면 읽어야지 한 논문을 못 읽을 수도 있으니 많이 읽어보길.

스터디 방법은 2가지 정도있다.

- 모두 하나씩 읽어오고, 랜덤으로 한 사람이 발표.

- 1장씩 공부해서, 모르는 부분 질문하고 답까지 정해서, 발표.

 

 

++ KLUE 는 벤치마크 dataset이라고, task들이 많이 있다.

++ CSV에서 ctrl(cmd) + 클릭하면 타고, 타고, 들어갈 수 있다. (계속 함수에 대해 파고 들어갈 수 있음)