# 오늘 하루 어떻게 살았나? hidden embedding 정상 작동 확인 && 리더보드 제출 soft-voting fn 구현 HiddenEmb 구현한 것 github에 정리해서 push entity 실험 sent + entity 실험 soft-voting fn 리더보드 제출 후, github에 push aug data + hidden emb # 피드백 - 이제 부캠 절반 정도에 왔는데, 정말 시작할 때와는 차원이 다르게 많이 배우고 성장한 것 같다. 전에는 어떻게 DL 프로젝트가 이루어지고 진행하는 지 감이 잘 잡히지 않았는데, 지금은 서버 단에서 데이터들을 분석하고 모델을 만드는 게 체감이 된다. 이렇게 질 좋은 강의와 경험들을 할 수 있어서 정말 감사함을 느낀다. 앞으로도 함께할 좋은 사람들을 많..

# 오늘 하루 어떻게 살았나? 팀원들과 error tracking hidden embedding 계속 구현 중 (forward 함수) 내일 멘토님이 피드백 주신다고 해서 실험 정리 해두기 # 피드백 - 혼자 error 잡다는 게 지치고 막막했는데, 공유하고 같이 error tracking하니 다들 어떻게 이해하고 있는지나 어느 부분에서 잘못된 것인지 바로바로 잡을 수 있어서 좋았다! - 실험이나 구현 전에 미리 가이드라인이 될 만한 코드를 찾아두는 게 좋겠다. 뿐만 아니라 가이드 라인 코드는 어떻게 동작하는 지 충분히 테스트하고 이해한 후에 꼭 구현을 시작하자. - 내가 지금 제대로 구현하고 있는건지, 내가 지금 제대로 길을 걸어가고 있는지 잘 모르겠다는 고민을 했었다. 오늘 이연 님 영상을 보면서, 그..

# 오늘 하루 어떻게 살았나? hidden embedding- subj, obj 위치 나타내주는 함수 구현 hidden embedding 모델 forward() 연결 하는 중 Bert Model 어떻게 구현되었는지 찾아봄 GitHub - huggingface/transformers: 🤗 Transformers: State-of-the-art Machine Learning for Pytorch, TensorFlow, and JAX. 🤗 Transformers: State-of-the-art Machine Learning for Pytorch, TensorFlow, and JAX. - GitHub - huggingface/transformers: 🤗 Transformers: State-of-the-art M..

# 오늘 하루 어떻게 살았나? subj, obj hidden embedding 주는 방법 찾아보기 vocab 추가하고 실험 (성능 똑같음)(이미 입력으로 2번이나 주니까) hidden embedding 구현하고 git push 성능 실험하고 리더보드 제출하기 tokenizer 코드 정리해서 git push # 피드백 - 오늘 멀티모달 강의를 들으면서, 사람의 뇌는 모두 한 곳을 거쳐서 간다는 사실을 알게 되었다. 시각 정보나 후각 정보 등 모두 같은 곳에 모인 후에 처리가 된다는 것이 의미를 관통하는 무언가가 있다는 것이 흥미로웠다. 실제로 CLIP 이 현재 SOTA를 찍고 있는 text dot image 모델이라고 한다. - morphs, nouns, 조사 빼고 모두 실험을 하였는데 결과는 morphs..

# 오늘 하루 어떻게 살았나? 토크나이저 구현 기존 토크나이저 변경해가며 실험 (pre-process, tokenizer 등) vocab에 subj, obj 추가를 해두고 실험 (하나의 객체임을 알려주기 위해)(근데 어차피 2번 들어가네?) # 피드백 - 나 자신을 믿자. 기록을 잘 해두자. - 여러가지 코드 찾아보고 분석하느라고 시간을 다쓴 것 같다. 그래도 토크나이저 내부가 어떻게 구성되어있는지 이해하는 데 도움이 되었다. - '데일 카네기'의 에 따르면, 상대가 '본인이 중요한 존재다' 라고 많이 느낄 수록 그 사람과의 인간관계가 좋아 진다고 한다. ## 오늘의 실험

# 오늘 하루 어떻게 살았나? 이번 주 모더레이터 역할을 수행 깃허브-슬랙 알람 설정 토크나이저 구현 (잘 안됨) 밀린 형태소 분석기 실험 # 피드백 - 계획을 세우고 실험을 한꺼번에 하니, 잘못 실행한 오류 없이 잘 수행되었다. 어느 정도 코드가 구현되면 한꺼번에 진행하는 것이 좋겠다. - 형태소 분석 실험이 망했다. 기가 막히게 모두 baseline보다 낮은 결과를 보여주었다. 실제 pre-trained model과는 다른 방식의 입력으로 주어져서 이러한 점수가 나온 것 같다. 또 ' '의 의미도 학습을 할 테니 더 낮은 성능을 보였던 것 같다.