| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 |
- N21
- Attention
- 데이터 구축
- GPT
- Ai
- ODQA
- seaborn
- AI 경진대회
- 기아
- 딥러닝
- nlp
- mrc
- AI Math
- dataset
- 2023 현대차·기아 CTO AI 경진대회
- 현대자동차
- matplotlib
- Bert
- Self-attention
- passage retrieval
- RNN
- 데이터 시각화
- Bart
- Optimization
- KLUE
- pyTorch
- N2N
- Transformer
- Data Viz
- word2vec
- Today
- Total
목록Bart (3)
쉬엄쉬엄블로그
이 색깔은 주석이라 무시하셔도 됩니다. Generation-based MRC Generation-based MRC Generation-based MRC 문제 정의 MRC 문제를 푸는 방법 Extraction-based mrc : 지문(context)내 답의 위치를 예측 ⇒ 분류 문제 (classification) Generation-based mrc : 주어진 지문과 질의(question)를 보고, 답변을 생성 ⇒ 생성 문제(generation) Generation-based MRC 평가 방법 동일한 extractive answer datasets ⇒ Extraction-based MRC와 동일한 평가 방법을 사용(recap) Extract Match(EM) Score EM = 1 when (Charac..
이 색깔은 주석이라 무시하셔도 됩니다. 한국어 언어 모델 학습 및 다중 과제 튜닝 Transformer와 multi-modal 연구 BERT 이후의 LM XLNet Relative positional encoding 방식 적용 (Transformer-XL) sequence의 max length 길이 제한 문제를 해결하기 위한 방법 Positional encoding → token간 관계성을 표현하기 위함 BERT처럼 0, 1, 2, 3 … 으로 표현하는 것이 아니라, 현재 token의 위치 대비 0번째, 1번째, 2번째, … 상대적 거리 표현법을 사용 Sequence 길이에 제한이 없어짐 Permutation langauge modeling mask token을 없앰 순열 조합을 통해 순서를 모두 섞고 ..
이 색깔은 주석이라 무시하셔도 됩니다. N2M 실습 문제 날짜 정규화 데이터셋 입력 : 다양한 형태의 날짜 표기 출력 : YYYY-MM-DD 형식의 날짜 표기 개수 : 자체적으로 생성 가능 모델 입출력 디자인 Huggingface AutoTokenizer Vocab 정보(facebook/bart-base 모델의 vocab) 크기 : 50265 문장 최대 길이 : 16 샘플 데이터 입력 데이터 : 18/01/1976 토큰화 결과 : [0, 1366, 73, 2663, 73, 44835, 2, 1, 1, 1, 1, 1, 1, 1, 1, 1] 사용 모델 Huggingface AutoModelForSeq2SeqLM Model 선학습되지 않은 BART 아키텍처 활용 facebook/bart-base Config,..