2022. 2. 10. 21:58ㆍAbout Me/AI Tech
# 심화 과제1. ViT
- CV : image, video를 high level에서 컴퓨터가 이해하도록 하는 것
- Transformer (self-attention) : 요새 거의 all 모델이 사용
- ViT (이미지 분류 Task에 good)
- Image embedding (일렬로 나열된 patch 화)(0* 이거는 분류를 위해 추가)
- Transformer encoder (L개 반복)
- Classification
# 심화 과제2. AAE
- VAE : 가우시안 분포 N(0,1)를 따라야만 함
- AAE : posterior와 arbitary prior를 맞추는 게 목표
- reparametrization : 평균과 표준편차 (sampling에 사용X) + e만 sampling해서 z_i를 선택. 이를 통해 역전파가 가능해짐.
- Linear 매개변수는 앞선 output크기와 현재 input크기가 맞아야 함.
- 진짜/가짜 구별 -> p확률로 파악 (=> discriminator가 p로 바꿔줌)
- sigmoid 역할 = 어떤 x든 간에, p(0~1)로 맞춰주는 특징 이용해서, 확률값으로 변함
- Decoder : 얼마나 잘 만드는지 image 그려줌
# einops 라이브러리
http://einops.rocks/pytorch-examples.html
Writing better code with pytorch and einops
Learning by example: rewriting and fixing popular code fragments
einops.rocks
Tensor 모양을 반복하거나, 변형을 편하게 하기 위해 사용.
## 피어 세션
팀원 한 분이 오늘 부로 가신다고 했다. 아쉽기도 하고, 이해도 되었다.
그래서 4명이 되었고, 위로도 해줄 겸 오피스 아워 끝나고 멘토님하고 대화하는 시간을 갖었다.
살짝 늦었는데, 나중에라도 슬랙을 봐서 정말 다행이었다.
위로도 해주시고 나중에 끝나고 더 친해자고 마무리 해주셨다.
TMI 타임을 최근에 재미있게 한 일을 나누는 시간을 갖었다.
나는 얼마 전에 로즈 와인을 마셔본 걸 얘기했다. 평소 화이트 와인을 즐겨마시는데, 얼마 전에 로즈색 와인 마셔봤는데 맛있었다.
금요일에 멘토링 때 나온 면접질문에 하나씩 정해서 발표하기로 했는데, 이번에 가셔서 그 질문을 오늘 답해보는 시간을 갖었다.
추가로.. LSTM 강의도 듣고 했지만 아직도 이해가 되지 않는다. 내일 한 번 더 보자.
아래는 AutoEncoder 관련해서 찾아보다가 알게 된 내용이다.
경사하강법은 loss가 크면, 빠르게 적용 및 수렴된다. 왜 같은 데이터인데도 학습속도가 다를까?
이는 입력값, 입력 위치에 따라 변화하기 때문이다. 따라서 초기값을 잘 설정하는 것이 중요하다는 말이다.
멘토링 끝나고, 팀원 님하고 팀하고 싶다고 제안하였다. 그래서 같이 하기로 했고, 통화하면서 서로 얘기도 나누었는데 무려 30분 정도를 통화했었다. 되게 역시나 좋았고, 시간 가는 줄 몰랐다.
'About Me > AI Tech' 카테고리의 다른 글
[Week 5- Day 1] 회고 (0) | 2022.02.14 |
---|---|
[Week 4- Day 5] 회고 (0) | 2022.02.11 |
[Week 4- Day 3] 회고 (0) | 2022.02.09 |
[Week 4- Day 2] 회고 (0) | 2022.02.08 |
[Week 4- Day 1] 회고 (0) | 2022.02.07 |