Notice
Recent Posts
Recent Comments
Link
250x250
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
Tags
- 기아
- N21
- Optimization
- 2023 현대차·기아 CTO AI 경진대회
- Transformer
- Bert
- 데이터 구축
- matplotlib
- 현대자동차
- 데이터 시각화
- GPT
- Data Viz
- AI 경진대회
- seaborn
- mrc
- Ai
- Bart
- AI Math
- Attention
- KLUE
- word2vec
- N2N
- nlp
- passage retrieval
- RNN
- pyTorch
- 딥러닝
- dataset
- Self-attention
- ODQA
Archives
- Today
- Total
목록ELECTRA (1)
쉬엄쉬엄블로그
이 색깔은 주석이라 무시하셔도 됩니다. Advanced Self-supervised Pre-training Models GPT-2 GPT-2 : Language Models are Unsupervised Multi-task Learners 모델 구조는 GPT-1과 다르지 않음 트랜스포머 모델에 레이어를 더 쌓아서 크기를 키움 다음 단어를 예측하는 task로 학습(pretrain)을 진행 증가된 사이즈의 데이터 사용 데이터셋을 대규모로 사용하는 과정에서 퀄리티가 높은 데이터로부터 효과적으로 다양한 지식을 배울 수 있도록 유도함 여러 donw-stream task가 생성 task에서 zero-shot setting으로써 모두 다뤄질 수 있다는 잠재적인 능력을 보여줌 GPT-2 : Motivation (dec..
부스트캠프 AI Tech 4기
2023. 7. 12. 17:51