[Week 19- Day 4] 회고

# RoBERTa 정리

NSP = Next Sentence Prediction

 

• 기존 BERT의 Static한 Masking 방식과 달리, 모델의 input으로 주기 전에 masking
• 기존의 문장 사이즈의 입력보다 크게, 각 input을 하나의 문서로 샘플링
• 더 오랜 시간 train하고, 더 큰 batch size로 학습

 

# Preprocessing- 업체명 마스킹 처리 고민

제대로 전처리가 되지 않는다.

줄이고, 띄우고 순서 뒤바꿔서 업체명을 부름.

 

## 피드백

멘토링으로 면접 질문도 받고 하니까, BERT나 RoBERTa 논문을 꼼꼼히 다시 읽어봐야 겠다는 생각을 했다.

JD 보면서 포트폴리오 정리를 좀 해봤는데, 베이스라인을 작성할 수 있는 사람을 원하는 것 같다는 인상을 받았다.