보호되어 있는 글입니다.

# 단어의 가방 문장 및 문단을 표현하기 위해 one-hot encoding을 사용하여, 단어들을 임베딩한 것 (Step 1) vocabulary 생성 문장 : "John은 정말 정말 당신을 정말 좋아해요", "Jane은 영화를 좋아해요"어휘: {"존", "진짜", "좋아요", "너", "제인", "the", "movie"} (Step 2) one-hot encoding 으로 Vector로 표현 전. "정말" = [0 1 0 0 ... ]단어 의미에 상관없이 같은 형태의 공간으로 매핑따라서 각 단어의 distance는 √2 이고, 각 단어의 cosine similarity 는 0 임 (3단계) 문장/문서 표현 (= 단어 자루) 전. "존 정말 ..." = [1 2 1 1 0 ... ] # 나비 베이지색 ..

# 이미지 분류 대회 동안 실험한 내용 resnet18로 하이퍼파라미터를 튜닝하다가, 위와 같이 focal loss & adam optmizer 일 때 과대적합 되지 않으면서 좋은 점수를 만났다. (+ normalize transform) 이후 weight freeze한 vgg16_bn에 같은 파라미터로 실험을 하였는데, 좋은 성능을 보였지만 학습 시간이 resnet18보다 꽤 많이 걸렸다. 이 당시에는 EarlyStopping을 구현하지 않았었어서 하이퍼파라미터를 튜닝하는 것이 많이 번거로웠다. # transform 을 주는 것이 좋을까? 통제 변인 model = k-fold resnet50 loss fn = focal loss optimizer = adam 조작 변인 종속 변인 f1 score (au..

# 오늘 한 실험 기록 어제 구현해둔 K-fold CV로 기존에 잘 나온 모델을 구현하였다. (resnet18, vgg16_bn) 아침에는 hard voting ensemble fn 을 구현하여 공유하였다. random apply 하는 transform 들을 가지고 성능이 좋아지는 지 실험을 해보았다. 결국 또 다른 이미지가 주어지면 잘 예측하는 것이 목적이므로, 최대한 입력 데이터와 유사한 이미지들이 성능이 좋았다. distortion & blur를 주었을 때보다, CentorCrop 한 것이 더 좋았다. 불균형 데이터를 계속 뽑아줘야 하므로 좌우반전(horizontal flip)은 유지하였다. 멘토링을 하면서, 오늘 어떤 실험을 하였고 어떤 인사이트나 생각을 느꼈고, 앞으로 어떤 일을 할 것인지 말하..

# 오늘 한 실험 기록 vgg16_bn 은 vgg16을 쓰는 것보다 훨씬 좋다고 하는데, 여기서 bn 뜻이 batch normalization 이라고 한다. 더 성능이 좋은 이유가 outliar를 예방할 수 있으니까. PCA로 30, 90000개 성분으로 차원축소 했는데, 성능이 엄청 낮게 나왔다.. 마스크 부분만 잘 탐색할 수 있을 거라 생각했는데.. # Weight init https://stackoverflow.com/questions/49433936/how-to-initialize-weights-in-pytorch How to initialize weights in PyTorch? How to initialize the weights and biases (for example, with He or..

# 오늘 한 실험 기록 실험하다가 중간에 train & eval 성능 비교를 위해 Acc 추가해줌. image tranform를 거쳐서 데이터가 입력되므로 torchvision에 있는 transforms로 변환하면서 시각화함. # CrossEntropy VS Focal Loss Focal Loss (Focal Loss for Dense Object Detection) 알아보기 gaussian37's blog gaussian37.github.io Focal Loss 는 Cross Entropy 의 클래스 불균형 문제를 다루기 위한 개선된 버전으로, 어렵거나 쉽게 오분류되는 케이스에 대하여 더 큰 가중치를 주는 방법을 사용. # Adam VS AdamW optimizer [논문 리뷰] AdamW에 대해 알아..