[Week 4- Day 4] 회고

# 심화 과제1.  ViT

- CV : image, video를 high level에서 컴퓨터가 이해하도록 하는 것

- Transformer (self-attention) : 요새 거의 all 모델이 사용

- ViT (이미지 분류 Task에 good)

1. Image embedding (일렬로 나열된 patch 화)(0* 이거는 분류를 위해 추가)
2. Transformer encoder (L개 반복)
3. Classification

 

# 심화 과제2.  AAE

- VAE : 가우시안 분포 N(0,1)를 따라야만 함

- AAE : posterior와 arbitary prior를 맞추는 게 목표

 

- reparametrization : 평균과 표준편차 (sampling에 사용X) + e만 sampling해서 z_i를 선택. 이를 통해 역전파가 가능해짐.

- Linear 매개변수는 앞선 output크기와 현재 input크기가 맞아야 함.

- 진짜/가짜 구별 ->  p확률로 파악 (=> discriminator가 p로 바꿔줌)

- sigmoid 역할 = 어떤 x든 간에, p(0~1)로 맞춰주는 특징 이용해서, 확률값으로 변함

- Decoder : 얼마나 잘 만드는지 image 그려줌

 

 

# einops 라이브러리

http://einops.rocks/pytorch-examples.html

Writing better code with pytorch and einops

 

Tensor 모양을 반복하거나, 변형을 편하게 하기 위해 사용.

 

 

## 피어 세션

팀원 한 분이 오늘 부로 가신다고 했다. 아쉽기도 하고, 이해도 되었다.

그래서 4명이 되었고, 위로도 해줄 겸 오피스 아워 끝나고 멘토님하고 대화하는 시간을 갖었다.

살짝 늦었는데, 나중에라도 슬랙을 봐서 정말 다행이었다.

위로도 해주시고 나중에 끝나고 더 친해자고 마무리 해주셨다.

 

TMI 타임을 최근에 재미있게 한 일을 나누는 시간을 갖었다.

나는 얼마 전에 로즈 와인을 마셔본 걸 얘기했다. 평소 화이트 와인을 즐겨마시는데, 얼마 전에 로즈색 와인 마셔봤는데 맛있었다.

금요일에 멘토링 때 나온 면접질문에 하나씩 정해서 발표하기로 했는데, 이번에 가셔서 그 질문을 오늘 답해보는 시간을 갖었다.

 

추가로.. LSTM 강의도 듣고 했지만 아직도 이해가 되지 않는다. 내일 한 번 더 보자.

아래는 AutoEncoder 관련해서 찾아보다가 알게 된 내용이다.

경사하강법은 loss가 크면, 빠르게 적용 및 수렴된다. 왜 같은 데이터인데도 학습속도가 다를까?

이는 입력값, 입력 위치에 따라 변화하기 때문이다. 따라서 초기값을 잘 설정하는 것이 중요하다는 말이다.

 

멘토링 끝나고, 팀원 님하고 팀하고 싶다고 제안하였다. 그래서 같이 하기로 했고, 통화하면서 서로 얘기도 나누었는데 무려 30분 정도를 통화했었다. 되게 역시나 좋았고, 시간 가는 줄 몰랐다.