Transformer
- Transformer는 Attention 기반으로 설계된 모델 아키텍처입니다. - 자연어 처리와 컴퓨터 비전 영역에서 다양한 변형으로 사용되고 있으며 현대 AI의 기반이 되는 아키텍처입니다. 1. 소개 `Attention is all you need` 논문에서 Transfomer가 소개된 이후 많은 변형이 등장하였고, Transformer의 Encoder/Decoder Block은 여전히 많이 사용되고 있습니다. 오늘은 Transformer의 입력부터 출력까지 어떤 연산을 거치며, 각 연산의 의미를 생각해보겠습니다. 기본적으로 Transformer는 위 그림과 같은 구조를 가지고 있습니다. Transformer는 크게 Encoder Block과 Decoder Block으로 구성되어 있습니다. 세부 구..
NLP
2023. 1. 6. 18:36
