[Week 1- Day 5] 회고

# 베이즈 통계학

조건부 확률을 이용하여 정보를 갱신하는 방법 알려줌.

 

P(A∩B) = P(B)P(A|B)

P(B|A) = P(A∩B)/P(A) = P(B) P(A|B) / P(A)

P(theta | D) = P(theta) P(D | theta) / P(D)

사후확률 = 사전확률 * 가능도 likelihood / evidence

 

- 사후확률 : data가 주어질 때, 이 가설이 성립할 확률. data 관찰 이후에 측정하기 때문에 사후확률임.

- theta : model에서 계산하고 싶어하는 parameter

- D : 새로 관찰되는 data

 

--> confusion Matrix 시각화 가능

--> 인과관계(causality) 추론 함부로 X

      (data 분포 변화에 강건한 예측모델을 만들 때 필요)

       인과관계를 알기 위해선, 중첩요인(confounding factor) 효과 제거 (-> 가짜 연관성)

 

 

# CNN

kernel이라는 가중치를 입력벡터 위에서 움직여가면서 계산하는 구조.

- 정의역 내에서 움직여도 변하지 않고 (translation invarient)

- 주어진 신호에 국소적으로 적용 (local)

 

Convolution 연산

 

# RNN

Sequence data (과거정보 손실 시, data 확률분포가 변경됨)를 다룸.

조건부 확률 + 베이즈 법칙을 이용.

 

X_t ~ P(X_t | X_t-1, ... , X_1)

X_t+1 ~ P(X_t+1 | X_t, ... , X_1)

연속적인 data 구조라, 가변적 자료구조가 필요함. 이를 잠재변수 H_t를 두어 해결.

 

X_t ~ P(X_t | X_t-1, H_t)

X_t+1 ~ P(X_t+1 | X_t, H_t+1)

 

RNN의 역전파 알고리즘 = BPTT (backpropagation through time)

sequence data의 길이가 길어질수록, update되는 기존 가중치행렬의 합이 불안해지기 쉽다(-> 기울기 소실).

이를 위한 대안 알고리즘은 다음과 같다.

- truncated BPTT (미래정보 중 몇 개는 drop하고, gradient 나눠서 전달)

- LSTM

- GRU

 

 

## 스페셜 피어세션

10조에 배정을 맡아서 일단 진행을 맡아서 했다. 현재 어느 정도까지 진도가 나갔는지, 궁금한 점은 없는지 질문하고 답변하는 시간을 갖었다. 근데 생각해보니 처음보는 사람들이라 다음에는 자기소개를 먼저하고 하는 게 좋을 것 같다. 

자기소개에서 인상깊게 본 ENFP분도 계셨다. 카페에 있어서 생각보다 많은 얘기를 나누지 못한 것 같아 아쉽다. 그래도 계속 대화하고 호응해줘서 편하게 잘 있다 왔다. 나도 ISTJ라고 했다.

총 3조가 섞였는데, 서로 어떻게 피어세션 진행하는지, 어떤 걸로 공부한 내용 정리하는지, 코딩이 잘 안될 때는 주로 어떤 행동을 하는지 TMI 시간을 갖었다.

 

## 피어세션

미션 : 팀 회고록 작성하여 제출하기

 

앞서 다른 조에서 긴장이 풀려서 그런지, 적극적으로 반응하고 했던 것 같다. 

다들 다른 조는 어땠는지 이야기하는 시간을 갖고, 팀 회고록을 작성하는 시간을 갖었다. 작성하는 중간에 운영자 님이 들어오셔서 "다들 뭐하고 계시는 건가요?"하는 채팅을 남겨주셔서 너무 웃겼다. 팀원들을 보고 뭐하고 있는거지? 하고 생각했을 거라 생각하니 그냥 뭔가 벙진 그 상황이 뭔가 웃겼다. 나중에 보여드릴까요?하는 것도 너무 웃겼다.

다들 심화과제3 까지 다 푼 사람도 있고, 논문 스터디를 진행하는 조도 있다는 것을 알고 정신을 좀 차렸다.

 

## 과제 해설

심화과제2 부터는 정말 하나도 안들어왔다. 기본과제는 맞기는 하지만, np 라이브러리를 사용하자는 다짐을 했다.

심화과제1에서 [3-1] 중간에 w,b값이 왜 이렇게 많이 나오나 했는데, np.sum() 함수로 합이 기울기라는 것을 알았다.

행렬 연산에서 행벡터를 원하는지, 열벡터를 원하는지 잘 파악하고 이해해야 겠다.

주말에는 심화과제2,3을 풀고 리뷰를 해봐야겠다.