[Week 19- Day 5] 회고

# Sentence-BERT 

ODQA- MRC task할 때도 보았던, Triplet Network는 해당 문장과 Positive 관계이면 더 가깝게, Negative 관계이면 더 멀게 학습하는 구조를 말한다.

Siamese Network는 FaceNet(?) 같은 곳에서 많이 사용하는 구조로, Same 구조 & Sharing weight 인 네트워크 구조를 말한다.

 

Sentence-BERT(= SBERT)는 Siamese & Triplet Network를 사용하여 문장의 의미를 잘 담도록하는 네트워크 구조다.

이를 통해, 기존 BERT가 수행하지 못하는 유사도 측정이나 클러스터링 등을 수행할 수 있다.

 

pooling은 앞선 유닛의 output에 특정 크기의 구간마다 max/ avg 값을 수행하는 것을 말한다.

 

 

## 피드백

스페셜 피어세션 때, 다른 도메인에 있는 캠퍼들과 파이널 프로젝트 얘기를 나누면서 Metric 선정에 대한 어려움을 나누었다.

여러 개의 Metric을 두고 ensemble 하는 건 어떨까 하는 얘기도 했다.

추천 시스템에서는 masking을 하게 되면 콘텐츠의 중요한 정보가 날라가지만, NLP 에서는 masking해야 원하는 특징을 제대로 학습할 수 있다는 게 당연하지만 신선하게 다가왔다.

 

Bird 대회가 끝나고.. 발표하는 것을 듣는데, audio data에서는 EfficientNet과 SSAST가 좋은 성능을 냈다는 것을 들었다.

또 2등 제출한 사람은 깃허브에서 BirdNet이라는 것을 찾아서 사용해서 좋은 점수를 얻을 수 있었다고 한다.

다음부터는 관련 데이터를 사용해서 실험한 모델이 있는지 깃허브에서 확인을 해보고 시작해야 겠다.

 

NER 전처리를 수행하는 데, EDA 할 때마다 예외가 발견되어 수정에 수정을 반복하고 있다..