[Week 4- Day 3] 회고

# Generative Model

• generation (ex. 강아지 같은 이미지 생성하고 sampling하는 모델)
• density estimation (이미지가 주어지면, 강아지같은지/아닌지/고양이같은지 확률값 출력)(Anomaly Detection에 활용)(= explicit model 확률값 얻을 수 있는 모델)
• unsupervised representation learning (ex. 강아지가 주어지면, 귀2개 & 다리4개 ~~특징이 있다)

 

Q. P(x)를 어떻게 만드냐?

Discrete Distribution (finate set에서)
베르누이 분포 (0 또는 1)	Categorical 분포
X ~ Ber(p) D = {H, T} P(H) = P,  P(T) = 1-P	Y ~ Cat(p_1, ... p_m) D = {1, ... m} P(Y=i) = P_i,  sum(P_1:m)=1

Ex.

RGB 표현

D = 256*256*256 size

Q. How many parameter 필요?

 -> 1개의 pixel을 표현하기 위해, 256*256*256-1 만큼의 파라미터 필요

==> 각 pixel이 binary(흑백)임. n크기의 화면이면, 여전히 2^n-1 파라미터 필요

 

So, 서로 독립적이라고 가정 (실제로 6을 표현하기 위해서는 독립적이지X)

그렇게 되면 파라미터가 n개만 있으면 됨 (ex. 0.43, 1)

 

# Conditional Independence

• Chain Rule (가정X)(joint 분포 -> conditional 분포로 표현했을 뿐)(따라서 파라미터 수도 2^n-1로 same)
  • P(x_1, ... x_n) = P(x_1)P(x_2|x_1) ... P(x_n|x_1...x_n-1)
  • ==> markov 적용하면 2n-1 파라미터 필요: P(x_1, ... x_n) = P(x_1)P(x_2|x_1) ... P(x_n|x_n-1)
• Bayes' Rule
  • P(x|y) = P(x, y)/ P(y) = P(y|x)P(x)/ P(y)
• Conditional Independence
  • if x⊥y |z,  p(x|y,z) = p(x|z)

 

Auto-regressive model (내부에 존재 O)

= Conditional independency를 잘 활용해서, 파라미터 수를 엄청나게 줄이는 것.

ex.

28*28 binary pixels 에 대해서,  P(x) = P(x_1, ... x_784),  x∈{0, 1}^784

이를 chain rule 적용(이전 정보에 dependent)(++ markov 포함)하면,  P(x_1:784) = P(x_1)P(x_2|x_1) ...

 

++ image pixel 활용 시, ordering(순서매김) 해야 함.

++ 이전 n개 정보만 고려 시, AR-n model이라고 부름. (ex. AR-1 model)

 

 

 

## 피어 세션

 

멘토링으로 부캠 직후에 취업하고 싶다면, 1~2달 전에 지원하는 게 좋다고 한다.

사실 무슨 Task를 할지도 앞으로 어떤 걸 배우는 지도 감이 안잡혔는데, 다행히 Fill-mask 등에 대한 것도 다 배운다고 한다.

깃허브를 꾸미기 위해서는 내용물과 README를 잘 작성하면 된다.

앞으로 대회 3번 정도 하면, 그것도 깃허브에 올려 포트폴리오가 되어 풍성해진다.

README는 구글에 "리드미 꾸미는 법"치면 나오는 거 참고하면 된다. 자랑하고 싶은 점을 잘 강조하라고 한다.

일기, 회고 정리를 올려두면 이것도 하나의 포트폴리오가 되니 좋다. 또 학습정리를 올리면 실수 안하기에도 좋다.

팀은 성격이 맞는 사람들이랑 하면 좋다.

이 시기에는 질문을 하는 데에 어려움 없이, 신뢰를 쌓는 게 가장 중요하다고 한다.

나중에 사회에 나가면 가장 먼저 물어보는 지인이 되기 때문이다.

시간 관리하는 방법은 1. 오전에 하루 할 일 40%이상을 하자. 2. 해야할 일을 미루지 않는다.

 

마지막에 면접 질문예시 5개를 주셨는데, 피어세션 때 모여서 같이 하나씩 맡아서 조사하고 발표하기로 했다.

노션에 발표자료를 올리기로 했는데, 코딩스터디 노션을 일분참조하여 먼저 테이블을 만들었다.

ViT 구현하는 데 차원을 늘리고 싶다는 질문에, *를 사용하면 늘릴 수 있다고 답하였다.

 

캐글스터디를 첫 날이었다.

일단 카톡 방으로 모여서 일정 맞추고, 줌으로 모여서 스터디 방식을 결정하였다.

미리 공유하고 싶은 질문을 제시해서 그에 맞춰서 서로 소개하는 시간을 갖었다.

mbti랑 자기소개, 캐글에 관심을 가지게 된 계기, 선호하는 데이터셋, 캐글 경험 을 공유하였다.

캐글 경험이 있는 사람도 많았다. 들어보니 시각화 등에 꽤 힘을 들여야하고, 이를 발표자료 만들고 발표하고 설득할 수 있어야 한다고 한다.

예를 들면, 내가 임원으로써 다른 팀원들을 설득하는 것처럼 생각하고 발표해보라는 경험도 있다고 한다.