# Pseudo Labeling semi-supervised learning의 일종으로, labeled data로 Model train을 진행한 후에, non-labeled data의 label을 예측하여 Pseudo labeled data를 생성한다. 이제 모든 data를 사용하여 model을 train하는 방법을 말한다. 이를 한다고 해서 항상 성능이 올라간다는 보장이 없기 때문에, cut-off 설정을 잘해야 한다. # Text data 대체 / Masking 구문 분석 Task 등에서, 개인 정보인 이름/ 전화번호/ 소속 등에 대한 처리를 할 때 삭제를 하는 것보다는 어떤 정보인지 알려주는 것이 굉장히 중요하다. 예를 들어, NIA 가이드라인에 따르면 사람의 실명 데이터의 경우 #@이름#으로 변환..

# KLUE 대회 md파일 정리 아래 배너 이미지를 만들고 싶다면, 해당 사이트에서 만들 수 있음. Shields.io: Quality metadata badges for open source projects Love Shields? Please consider donating to sustain our activitiesYour BadgeStaticUsing dash "-" separator/badge/ - - Dashes --→- DashUnderscores __→_ Underscore_ or Space → SpaceUsing query string parameters/static/v1?label= &message= &color= Colo shields.io # 멘토링 문제 상황 파악, 가설 세우고 ..

# 오늘 하루 어떻게 살았나? 솔루션 발표 실험 정리 (노션, ppt) 캐글 스터디에서 각 도메인 대회 관련 내용 청취 및 노트 정리 # 피드백 - 2등 팀 솔루션 발표가 있어서, 아침부터 ppt 제작 준비하느라 노션과 ppt에서 작업을 진행하였다. 각자 본인이 맡은 부분에 대해 정리하고 나중에 첨삭하는 방식으로 진행하였다. ppt 2번째 페이지가 '참께 자라기' 팀명 소개하는 파트였는데, 대회하면서 팀명을 되새긴 적이 있다. 한창 model 구조 변경하는 데 스트레스를 받을 때 함께 자란다, 이것도 성장 과정이다 라고 생각하니 많은 힘이 되었던 게 떠올랐다. 역시 팀명은 중요한 듯하다. - CV 도메인 팀 발표도 들었었는데, 대회 진행하는 방식이나 평가 방식이 정말 달라서 놀랐다. model 구조가 2..

# 오늘 하루 어떻게 살았나? 대회 마지막 날이라, 팀원들이랑 핵심 csv 모아 하나씩 영향도 체크 model 뒤에 LSTM 붙여서 실험 (=> roberta에서는 안 붙인 게 더 좋은 성능) # 피드백 마지막까지 앙상블해서, Public 1등에 Private 2등을 달성했다. 다들 저번 대회 때 발표한 거 듣고 희망을 보았다면서, 각자 인사이트 공유한 걸 놓치지 않고 진행하면 되겠다고 생각을 했다고 한다. 1주 전까지만 해도 이렇게 될 줄은 몰랐는데, 좋은 결과를 내서 다행이라는 생각이 들었다.

# 오늘 하루 어떻게 살았나? weighted voting 앙상블 함수 구현 및 리더보드 적용 entity type을 달아주는 입력으로 하이퍼 파라미터 튜닝 실험 teacher forcing 관련 사이트 읽어보며 정리 entity와 sentence 위치를 바꿔 실험 (=> sentence가 먼저 && entity 뒤에 오는 것이 더 좋은 성능) LSTM으로 re-model 변경 # 피드백 - 세상에 쉬운 일은 없다.

# 오늘 하루 어떻게 살았나? entity 실험 soft-voting fn 리더보드 제출 후, github에 push (4등까지 올라갔당) hidden_emb 코드 정리 후, github push entity의 pre-type부분을 한글로 변경하여 실험 weighted ensemble 구현하여, 리더보드 제출 pre-type을 함께 입력으로 준 model의 sweet spot 찾기 # 피드백 - sh 명령어로 프로젝트 실행 명령을 가능하도록 해서, sh cmds.txt 명령어를 주어 여러 개의 테스트를 한 번에 진행할 수 있었다. 이처럼 구현을 어느정도 마무리하고 나면 확인하고 싶은 것에 대해 정리하여 한 번에 돌리는 것이 실수할 위험을 많이 줄여주는 것 같다. ## 실험 정리 entity 쪽에 pre-..