쉬엄쉬엄블로그

이 색깔은 주석이라 무시하셔도 됩니다. 한국어 언어 모델 학습 및 다중 과제 튜닝 Transformer와 multi-modal 연구 BERT 이후의 LM XLNet Relative positional encoding 방식 적용 (Transformer-XL) sequence의 max length 길이 제한 문제를 해결하기 위한 방법 Positional encoding → token간 관계성을 표현하기 위함 BERT처럼 0, 1, 2, 3 … 으로 표현하는 것이 아니라, 현재 token의 위치 대비 0번째, 1번째, 2번째, … 상대적 거리 표현법을 사용 Sequence 길이에 제한이 없어짐 Permutation langauge modeling mask token을 없앰 순열 조합을 통해 순서를 모두 섞고 ..