LanguageData

- BERT는 자연어처리 모델에서 큰 성능향상을 가져온 모델/학습 방법입니다. - BERT를 기반으로 다양한 모델이 파생되어 현재까지 많은 분야에서 사용되고 있습니다. - 본 글에서는 BERT에 대해 간략히 소개합니다. 1. 학습 방법 BERT모델을 학습하는 방법은 Masked Language Model(MLM)과 Next Sentence Prediction(NSP)입니다. MLM은 특정 확률로 마스킹된 단어를 예측하여 학습하는 방법이고, NSP는 두 개의 문장이 실제로 연결된 문장인지를 예측하여 학습하는 방법입니다. MLM은 입력 문장에서 각 단어를 K%의 확률로 마스킹하는데, 논문에서는 15%의 확률을 사용합니다. 만약 마스킹이 너무 적다면 학습 효율이 떨어지고, 너무 많다면 문장의 맥락을 파악하기 ..

NLP 2023. 1. 9. 15:17

- Transformer는 Attention 기반으로 설계된 모델 아키텍처입니다. - 자연어 처리와 컴퓨터 비전 영역에서 다양한 변형으로 사용되고 있으며 현대 AI의 기반이 되는 아키텍처입니다. 1. 소개 `Attention is all you need` 논문에서 Transfomer가 소개된 이후 많은 변형이 등장하였고, Transformer의 Encoder/Decoder Block은 여전히 많이 사용되고 있습니다. 오늘은 Transformer의 입력부터 출력까지 어떤 연산을 거치며, 각 연산의 의미를 생각해보겠습니다. 기본적으로 Transformer는 위 그림과 같은 구조를 가지고 있습니다. Transformer는 크게 Encoder Block과 Decoder Block으로 구성되어 있습니다. 세부 구..

NLP 2023. 1. 6. 18:36