쉬엄쉬엄블로그

이 색깔은 주석이라 무시하셔도 됩니다. Extraction-based MRC Extraction-based MRC 문제 정의 질문(question)의 답변(answer)이 항상 주어진 지문(context)내에 span으로 존재 e.g. SQuAD, KorQuAD, NewsQA, Natural Questions, etc. Extraction-based MRC datasets in Hugging Face datasets Extraction-based MRC 평가 방법 Exact Match (EM) Score 예측값과 정답이 캐릭터 단위로 완전히 똑같은 경우에만 1점 부여 하나라도 다른 경우 0점 F1 Score 예측값과 정답의 overlap을 비율로 계산 0점과 1점사이의 부분점수를 받을 수 있음 예제 Ex..

이 색깔은 주석이라 무시하셔도 됩니다. 출처: 부스트캠프 AI Tech 4기(NAVER Connect Foundation)

이 색깔은 주석이라 무시하셔도 됩니다. 출처: 부스트캠프 AI Tech 4기(NAVER Connect Foundation)

이 색깔은 주석이라 무시하셔도 됩니다. 한국어 언어 모델 학습 및 다중 과제 튜닝 BERT 언어모델 기반의 단일 문장 분류 KLUE 데이터셋 한국어 자연어 이해 벤치마크(Korean Langauge Understanding Evaluation, KLUE) 자연어 task 유형 문장 분류, 관계 추출 → 단일 문장 분류 task (5강) 문장 유사도 → 문장 임베딩 벡터의 유사도 (e.g. [CLS]) 자연어 추론 → 두 문장 관계 분류 task (6강) 개체명 인식, 품사 태깅, 질의 응답 → 문장 토큰 분류 task (7강) 목적형 대화 → 김성동님, DST 강의 의존 구문 분석 의존 구문 분석 단어들 사이의 관계를 분석하는 task 특징 지배소 : 의미의 중심이 되는 요소 의존소 : 지배소가 갖는 의..

이 색깔은 주석이라 무시하셔도 됩니다. 한국어 언어 모델 학습 및 다중 과제 튜닝 BERT Pre-Training BERT 모델 학습 BERT 학습의 단계 Tokenizer 만들기 데이터셋 확보 Next sentence prediction (NSP) Masking 이미 있는 거 쓰지, 왜 새로 학습해야 하는가? 도메인 특화 task의 경우, 도메인 특화된 학습 데이터만 사용하는 것이 성능이 더 좋다! ! 생물학, 생리학 자연어 task에 대해서 기존 BERT를 fine tuning하는 것 보다 생물학, 생리학 데이터로 바닥부터 학습한 모델의 성능이 더 좋음 학습을 위한 데이터 만들기 BERT 입장에서 입력은 input_ids, token_type_ids, positional encoding 형태로 만들어..

이 색깔은 주석이라 무시하셔도 됩니다. 한국어 언어 모델 학습 및 다중 과제 튜닝 BERT 언어모델 BERT 모델 소개 트랜스포머 모델은 인코더와 디코더가 하나로 합쳐져있는 구성을 가짐 BERT는 self attention 즉, 트랜스포머를 사용한 모델 입력된 정보를 다시 입력된 정보로 표현하기 위해 학습됨 그런데 그냥 원본을 복원하는 것이 아니라 masked된 단어를 맞추도록 학습함 더 어렵게 만든 문제를 해결하도록 만들어서 언어를 학습하도록 만듬 * GPT-2는 원본 이미지를 특정한 sequence를 가지고 잘라낸 후 그 다음을 예측하도록 학습함* 모델 구조도 학습 코퍼스 데이터 BooksCorpus (800M words) English Wikipedia (2,500M words without lis..