[Week 9- Day 3] 회고

# How ALBERT improve BERT's performance?

딥러닝 모델 압축 방법론과 BERT 압축

 

 

# Kaggle 스터디

## k-nn 알고리즘을 이용하여 over-sampling 하는 방법

(장점) 과적합 가능성이 낮음

(단점) cluster 분리해야 함, categorical data 있으면 X

 

SMOTE — Version 0.9.0

 

from scratch = not pre-trained model (빠르게 over-fitting)

CNN weight init = kaiming fn (resnet 만든 분이 만듬)

medical data는 판단이 중요. 정확도 높은 게 중요. (ex. target data의 acc가 낮더라도, 다른 변수 acc가 높다면 더 좋은 것으로 판단)

 

 

## Heart Failure Prediction

EDA 와 data에 대해 주의 깊게 살펴보고, 가설을 정말 많이 세워보는 것을 목표로 했다.

medical data라 모르는 개념 등이 많아 가설을 세우기는 어려웠다. 그래서 features에 대한 정보와 주어진 dataset이 어떻게 구성되어있는지 살펴보았다. 또 Catboost model을 중심으로 결측치 처리에 대한 실험을 진행하였다.

기존 콜레스테롤 데이터 양상과 비슷하게 감마분포로 결측치 처리를 하는 것이 가장 성능이 좋았다.

 

CV를 사용한 LogisticRegression이 가장 성능이 좋아서, 다른 model들도 CV를 사용하여 실험해보고자 한다.

현재 감마분포를 사용하였는데, 더 적합한 확률분포가 있는지 && 어떤 특징을 가지고 있는지 살펴보고자 한다.

Label Encoding으로 categorical data를 mapping하면, 상관관계 corr()를 확인하거나 model train을 할 때 오해를 일으킬 수 있다고 한다. 그래서 EDA가 끝나면, one-hot encoding으로 진행하는 것이 좋다는 것을 깨달았다.

HeartFailure_hyunah.pptx

14.72MB

 

 

SHAP로 Catboost model을 시각화하였는데, 이를 어떻게 해석하는지에 대해 질문을 받았다.

0번째 data prediction explanation

위는 0번째 data의 예측에 대한 설명을 나타낸다.

해당 data는 MaxHR=172, ST_Slope=0 등의 정보를 가진다는 정보를 보여주며,

model의 기본 값에서 model의 output으로 밀어내는 데에 영향을 주는 정도를 나타낸다.

prediction 값을 더욱 높게 밀어내는 요소는 빨간 색으로 나타내고, 더욱 낮게 밀어내는 요소는 파란 색으로 표현한다.

-2.98 이라는 값은 prediction으로 예상하는 [0, 1] 값을 벗어나는데, 최종 확률을 계산하기 위해서는 sigmoid 함수를 통과해야 한다.

 

 

모든 features의 영향도

위는 각 feature 중요도를 위에서 아래로 나타내고 있다.

또 target 범주형 변수에 대해 각 변수들이 어떻게 작용하는지 그 중요도 및 분포를 나타낸다.

 

 

## 피어 세션

미션 : Further Question (Attention explain output?)

 

Final Project를 위한 idea를 제시하는 notion 페이지 생성하였다. 

과제 3 & 4가 좀처럼 풀리지 않아 난항을 겪고 있다. 다들 어떻게 풀었는지 나누었는데, 구글링으로 hint를 얻어 풀거나 id값을 사용하여 풀었다고 한다. BPE는 각각 조금씩 다르게 구현되어 있어서 잘 이해하고 이해한 대로 짜는 것이 중요하다고 한다. 

캐글 스터디 발표를 진행하였는데, feature에 대해 찾으면서 왜 해당 feature가 주어졌는지 깨닫고 새로운 분야에 대해 알게 되어서 되게 뿌듯하고 재미있었다.