쉬엄쉬엄블로그

이 색깔은 주석이라 무시하셔도 됩니다. 한국어 언어 모델 학습 및 다중 과제 튜닝 BERT 언어모델 BERT 모델 소개 트랜스포머 모델은 인코더와 디코더가 하나로 합쳐져있는 구성을 가짐 BERT는 self attention 즉, 트랜스포머를 사용한 모델 입력된 정보를 다시 입력된 정보로 표현하기 위해 학습됨 그런데 그냥 원본을 복원하는 것이 아니라 masked된 단어를 맞추도록 학습함 더 어렵게 만든 문제를 해결하도록 만들어서 언어를 학습하도록 만듬 * GPT-2는 원본 이미지를 특정한 sequence를 가지고 잘라낸 후 그 다음을 예측하도록 학습함* 모델 구조도 학습 코퍼스 데이터 BooksCorpus (800M words) English Wikipedia (2,500M words without lis..