쉬엄쉬엄블로그

이 색깔은 주석이라 무시하셔도 됩니다. 한국어 언어 모델 학습 및 다중 과제 튜닝 GPT 언어 모델 BERT 모델은 자연어에 대한 임베딩 모델이라 할 수 있고 GPT는 자연어 생성에 특화된 모델 GPT 모델 소개 [자연어 문장 → 분류] 성능이 아주 좋은 디코더인 GPT 덕분에 적은 양의 데이터에서도 높은 분류 성능을 나타냄 다양한 자연어 task에서 SOTA 달성 (BERT가 나오기 전 GPT1) Pre-train 언어 모델의 새 지평을 열었음 → BERT로 발전의 밑거름 하지만 여전히, 지도 학습을 필요로 하며, labeled data가 필수임 특정 task를 위해 fine-tuning된 모델은 task에서 사용 불가능 “언어”의 특성 상, 지도 학습의 목적 함수는 비지도 학습의 목적함수와 같다. →..

이 색깔은 주석이라 무시하셔도 됩니다. Advanced Self-supervised Pre-training Models GPT-2 GPT-2 : Language Models are Unsupervised Multi-task Learners 모델 구조는 GPT-1과 다르지 않음 트랜스포머 모델에 레이어를 더 쌓아서 크기를 키움 다음 단어를 예측하는 task로 학습(pretrain)을 진행 증가된 사이즈의 데이터 사용 데이터셋을 대규모로 사용하는 과정에서 퀄리티가 높은 데이터로부터 효과적으로 다양한 지식을 배울 수 있도록 유도함 여러 donw-stream task가 생성 task에서 zero-shot setting으로써 모두 다뤄질 수 있다는 잠재적인 능력을 보여줌 GPT-2 : Motivation (dec..

이 색깔은 주석이라 무시하셔도 됩니다. Self-Supervised Pre-Training Models Transformer Recent Trends Transformer model and its self-attention block has become a general-purpose sequence(or set) encoder and decoder in recent NLP applications as well as in other areas. 트랜스포머 모델에서 제안된 self-attention block은 범용적인 sequence encoder, decoder로써 최근 자연어처리의 다양한 분야에서 좋은 성능을 내고 있고 심지어 다른 분야에서도 활발히 사용됨 Training deeply stacked ..