BERT
- BERT는 자연어처리 모델에서 큰 성능향상을 가져온 모델/학습 방법입니다. - BERT를 기반으로 다양한 모델이 파생되어 현재까지 많은 분야에서 사용되고 있습니다. - 본 글에서는 BERT에 대해 간략히 소개합니다. 1. 학습 방법 BERT모델을 학습하는 방법은 Masked Language Model(MLM)과 Next Sentence Prediction(NSP)입니다. MLM은 특정 확률로 마스킹된 단어를 예측하여 학습하는 방법이고, NSP는 두 개의 문장이 실제로 연결된 문장인지를 예측하여 학습하는 방법입니다. MLM은 입력 문장에서 각 단어를 K%의 확률로 마스킹하는데, 논문에서는 15%의 확률을 사용합니다. 만약 마스킹이 너무 적다면 학습 효율이 떨어지고, 너무 많다면 문장의 맥락을 파악하기 ..
NLP
2023. 1. 9. 15:17
