[Week 8- Day 5] 회고

# [논문] Fine-tune BERT for Extractive Summarization

BERT = pre-trained Transformer

BERTSUM = simple variant of BERT

 

document summarization = generating a shorter version of a document

1. abstractive summarization

2. extractive summarization (<- BERT boost the performance of extractive summarization)

 

Q. how do we execute extractive summarization?

d = document = [sent_1, sent_2, ... sent_m]

sent_i = i-th sentence in the document

assigning a label y_i ∈ {0, 1} to each sent_i (<- indicating whether the sentence should be included in the summary)

 

BERT

1. trained as a masked-language model (= the output vectors are grounded to tokens)

2. has segmentation embeddings

 

we can do extractive summarization by modify the input seqence && embedding of BERT

In vanilla BERT, the [CLS] is used as a symbol to aggregate features from one sentence or a pair of sentences.

we modify the model by using multiple [CLS] symbols to get features for sentences ascending the symbol.

 

 

BERT_for_summarization_2022-03-11_23-34-55.pdf

0.51MB

 

## 피어 세션

미션 : 회고록, 부캠에서 살아남기

 

오늘부터 본격적으로 논문 리딩 스터디를 하게 되었다. 첫 스타트는 대학원생인 **님이 해주셨고, 앞으로 주간 돌아가면서 진행할 것 같다.

위의 "ascending the symbol"의 의미가 이해가 가지 않았었는데, 여러 개의 [CLS]를 사용하니 이를 구분하기 위해 index를 매기는 것이라고 한다.

gold-standard summary는 모델이 이렇게 요약문을 출력해주었으면 하는 값인 target 값 이라고 한다.

 

과제를 하다가 너무 집중이 안되서 오늘 있을 논문을 읽어보고 정리하였는데, 결과적으로 잘한 것 같다.

덕분에 이해가 가는 부분과 잘 모르겠던 부분을 정리해서, 집중해서 보다 쉽게 잘 들을 수 있었던 것 같다.