쉬엄쉬엄블로그

이 색깔은 주석이라 무시하셔도 됩니다. N21 (Sentence Classification) 실습 Hugginface from_pretrained() 선학습된 encoder model, tokenizer를 불러오는 함수 # https://huggingface.co/docs/transformers/model_doc/auto#transformers.AutoTokenizer from transformers import AutoTokenizer # transformers.AutoTokenizer의 from_pretrained() 함수 실습 # 많은 Tokenizer 가 있으나 이번 실습에서는 3가지 정도를 확인해본다. klue_tokenizer = AutoTokenizer.from_pretrained('..

이 색깔은 주석이라 무시하셔도 됩니다. Hugginface 소개 Hugginface Transfer Learning 수학 문제를 잘 푸는 친구에게 경제 문제를 잘 풀도록 접근하는 것 비슷한 분야를 학습해놓은 모델에게 유사한 다른 문제들을 잘 풀도록 학습시키는 것 Transfer Learning | Pretraining & Fine-tuning pattern large-scale raw data로 학습시킨 후 small-scale tagged data로 전이학습 시켰을 때 SOTA 성능을 보임 Transfer Learning | Pre-training 대규모 말뭉치들을 활용해 (상대적으로 쉬운) 언어 문제들을 해결할 수 있는 언어모델 구축 및 배포 계속 더 좋은 모델 및 더 큰 모델이 배포되고 있음 인코더..