[Week 10- Day 3] 회고

2022. 3. 23. 23:56About Me/AI Tech

# 오늘 하루 어떻게 살았나?

KLUE RE- khaiii 형태소 분석기 (-> 서버 버전과 맞지 않아 설치X)

 

KLUE RE- 기존 베이스라인 코드 분석

KLUE RE- 입력 태그 부착하기 & 깃허브 공유
BERT 입력 부분 학습 및 이해

 

내일 할 일

KLUE RE- 형태소 분석기 적용하기

BERT 논문 및 doc 읽기

대출한 도서 읽고 정리

WandB 실험 기록하기

 

# 피드백

- 나는 나의 길을 가는 것이 중요하겠다는 생각을 많이 했다. 무심하게 행동하면 뭐든지 편해지지 않을까 하는 생각도 했다.

 

- batch_size 와 step_size 개념 및 관계?

 

[DL기초] batch_size, epoch, step 개념 그리고 iteration

일반적으로 Gradient Descent는 아래 3가지 개념을 베이스로 학습이 진행된다. batch_size: Gradient Descent를 한번 계산하기 위한 학습 데이터의 개수 steps: Gradient Descent를 batch_size별로 계산하되, 전체..

bslife.tistory.com

 

batch_size가 클수록, step_size는 줄이는 것이 좋은 서로 역관계다.

step은 기울기 하강 알고리즘을 batch_size 별로 진행하되, 전체 train dataset에 대해 이를 반복해서 적용할 때 기울기 하강 알고리즘의 update의 대상이 되는 batch 횟수를 말한다.

 

 

## 마무리

 

 

 

 

 

 

 

 

 

Hola

반응형

'About Me > AI Tech' 카테고리의 다른 글

[Week 10- Day 5] 회고  (0) 2022.03.26
[Week 10- Day 4] 회고  (0) 2022.03.25
[Week 10- Day 2] 회고  (0) 2022.03.22
[Week 10- Day 1] 회고  (0) 2022.03.22
[Week 9- Day 5] 회고  (0) 2022.03.18