Notice
Recent Posts
Recent Comments
Link
250x250
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
Tags
- Bart
- RNN
- Attention
- nlp
- N21
- GPT
- pyTorch
- Bert
- 딥러닝
- dataset
- KLUE
- 현대자동차
- Optimization
- matplotlib
- 데이터 시각화
- AI 경진대회
- mrc
- 2023 현대차·기아 CTO AI 경진대회
- AI Math
- 데이터 구축
- ODQA
- seaborn
- Transformer
- N2N
- word2vec
- Ai
- 기아
- Data Viz
- passage retrieval
- Self-attention
Archives
- Today
- Total
목록Tokenizer (1)
쉬엄쉬엄블로그
(NLP 기초대회) N21 - Sentence Classification 실습
이 색깔은 주석이라 무시하셔도 됩니다. N21 (Sentence Classification) 실습 Hugginface from_pretrained() 선학습된 encoder model, tokenizer를 불러오는 함수 # https://huggingface.co/docs/transformers/model_doc/auto#transformers.AutoTokenizer from transformers import AutoTokenizer # transformers.AutoTokenizer의 from_pretrained() 함수 실습 # 많은 Tokenizer 가 있으나 이번 실습에서는 3가지 정도를 확인해본다. klue_tokenizer = AutoTokenizer.from_pretrained('..
부스트캠프 AI Tech 4기
2023. 7. 24. 11:46