분명 내가 딥러닝에 입문했을 때도 Transformer가 각광받고 있었는데 아직까지도 Transformer가 각광받고 있다. 세상은 변하는데... 참 응용도도 높고 성능이 좋은 모델임에 틀림없다.예전에 공부해본바 있지만 경험치가 쌓인 지금 좀 더 지식을 공고히할 겸 정리해봤다. 글로 옮기기 귀찮아서 손글씨 사진으로 대체한다. 1. Attention 개념 이해하기2. Self-Attention이란?3. Transformer 구조4. Transformer의 Query, Key, Value 구해보기5. Multi-head Attention6. Encoder와 Decoder에서 Self-Attention의 동작7. Masked Self Attention8. 기타 개념 및 기법8.1. Feed Forward8.2..