쉬엄쉬엄블로그

이 색깔은 주석이라 무시하셔도 됩니다. 한국어 언어 모델 학습 및 다중 과제 튜닝 BERT Pre-Training BERT 모델 학습 BERT 학습의 단계 Tokenizer 만들기 데이터셋 확보 Next sentence prediction (NSP) Masking 이미 있는 거 쓰지, 왜 새로 학습해야 하는가? 도메인 특화 task의 경우, 도메인 특화된 학습 데이터만 사용하는 것이 성능이 더 좋다! ! 생물학, 생리학 자연어 task에 대해서 기존 BERT를 fine tuning하는 것 보다 생물학, 생리학 데이터로 바닥부터 학습한 모델의 성능이 더 좋음 학습을 위한 데이터 만들기 BERT 입장에서 입력은 input_ids, token_type_ids, positional encoding 형태로 만들어..