쉬엄쉬엄블로그

이 색깔은 주석이라 무시하셔도 됩니다. Self-Supervised Pre-Training Models Transformer Recent Trends Transformer model and its self-attention block has become a general-purpose sequence(or set) encoder and decoder in recent NLP applications as well as in other areas. 트랜스포머 모델에서 제안된 self-attention block은 범용적인 sequence encoder, decoder로써 최근 자연어처리의 다양한 분야에서 좋은 성능을 내고 있고 심지어 다른 분야에서도 활발히 사용됨 Training deeply stacked ..