쉬엄쉬엄블로그

이 색깔은 주석이라 무시하셔도 됩니다. Generation-based MRC Generation-based MRC Generation-based MRC 문제 정의 MRC 문제를 푸는 방법 Extraction-based mrc : 지문(context)내 답의 위치를 예측 ⇒ 분류 문제 (classification) Generation-based mrc : 주어진 지문과 질의(question)를 보고, 답변을 생성 ⇒ 생성 문제(generation) Generation-based MRC 평가 방법 동일한 extractive answer datasets ⇒ Extraction-based MRC와 동일한 평가 방법을 사용(recap) Extract Match(EM) Score EM = 1 when (Charac..

이 색깔은 주석이라 무시하셔도 됩니다. 한국어 언어 모델 학습 및 다중 과제 튜닝 Transformer와 multi-modal 연구 BERT 이후의 LM XLNet Relative positional encoding 방식 적용 (Transformer-XL) sequence의 max length 길이 제한 문제를 해결하기 위한 방법 Positional encoding → token간 관계성을 표현하기 위함 BERT처럼 0, 1, 2, 3 … 으로 표현하는 것이 아니라, 현재 token의 위치 대비 0번째, 1번째, 2번째, … 상대적 거리 표현법을 사용 Sequence 길이에 제한이 없어짐 Permutation langauge modeling mask token을 없앰 순열 조합을 통해 순서를 모두 섞고 ..

이 색깔은 주석이라 무시하셔도 됩니다. N2M 실습 문제 날짜 정규화 데이터셋 입력 : 다양한 형태의 날짜 표기 출력 : YYYY-MM-DD 형식의 날짜 표기 개수 : 자체적으로 생성 가능 모델 입출력 디자인 Huggingface AutoTokenizer Vocab 정보(facebook/bart-base 모델의 vocab) 크기 : 50265 문장 최대 길이 : 16 샘플 데이터 입력 데이터 : 18/01/1976 토큰화 결과 : [0, 1366, 73, 2663, 73, 44835, 2, 1, 1, 1, 1, 1, 1, 1, 1, 1] 사용 모델 Huggingface AutoModelForSeq2SeqLM Model 선학습되지 않은 BART 아키텍처 활용 facebook/bart-base Config,..