쉬엄쉬엄블로그

이 색깔은 주석이라 무시하셔도 됩니다. Advanced Self-supervised Pre-training Models GPT-2 GPT-2 : Language Models are Unsupervised Multi-task Learners 모델 구조는 GPT-1과 다르지 않음 트랜스포머 모델에 레이어를 더 쌓아서 크기를 키움 다음 단어를 예측하는 task로 학습(pretrain)을 진행 증가된 사이즈의 데이터 사용 데이터셋을 대규모로 사용하는 과정에서 퀄리티가 높은 데이터로부터 효과적으로 다양한 지식을 배울 수 있도록 유도함 여러 donw-stream task가 생성 task에서 zero-shot setting으로써 모두 다뤄질 수 있다는 잠재적인 능력을 보여줌 GPT-2 : Motivation (dec..