쉬엄쉬엄블로그

이 색깔은 주석이라 무시하셔도 됩니다. 한국어 언어 모델 학습 및 다중 과제 튜닝 Transformer와 multi-modal 연구 BERT 이후의 LM XLNet Relative positional encoding 방식 적용 (Transformer-XL) sequence의 max length 길이 제한 문제를 해결하기 위한 방법 Positional encoding → token간 관계성을 표현하기 위함 BERT처럼 0, 1, 2, 3 … 으로 표현하는 것이 아니라, 현재 token의 위치 대비 0번째, 1번째, 2번째, … 상대적 거리 표현법을 사용 Sequence 길이에 제한이 없어짐 Permutation langauge modeling mask token을 없앰 순열 조합을 통해 순서를 모두 섞고 ..

이 색깔은 주석이라 무시하셔도 됩니다. 한국어 언어 모델 학습 및 다중 과제 튜닝 GPT 언어 모델 BERT 모델은 자연어에 대한 임베딩 모델이라 할 수 있고 GPT는 자연어 생성에 특화된 모델 GPT 모델 소개 [자연어 문장 → 분류] 성능이 아주 좋은 디코더인 GPT 덕분에 적은 양의 데이터에서도 높은 분류 성능을 나타냄 다양한 자연어 task에서 SOTA 달성 (BERT가 나오기 전 GPT1) Pre-train 언어 모델의 새 지평을 열었음 → BERT로 발전의 밑거름 하지만 여전히, 지도 학습을 필요로 하며, labeled data가 필수임 특정 task를 위해 fine-tuning된 모델은 task에서 사용 불가능 “언어”의 특성 상, 지도 학습의 목적 함수는 비지도 학습의 목적함수와 같다. →..

이 색깔은 주석이라 무시하셔도 됩니다. 출처: 부스트캠프 AI Tech 4기(NAVER Connect Foundation)

이 색깔은 주석이라 무시하셔도 됩니다. 출처: 부스트캠프 AI Tech 4기(NAVER Connect Foundation)

이 색깔은 주석이라 무시하셔도 됩니다. 한국어 언어 모델 학습 및 다중 과제 튜닝 BERT 언어모델 기반의 단일 문장 분류 KLUE 데이터셋 한국어 자연어 이해 벤치마크(Korean Langauge Understanding Evaluation, KLUE) 자연어 task 유형 문장 분류, 관계 추출 → 단일 문장 분류 task (5강) 문장 유사도 → 문장 임베딩 벡터의 유사도 (e.g. [CLS]) 자연어 추론 → 두 문장 관계 분류 task (6강) 개체명 인식, 품사 태깅, 질의 응답 → 문장 토큰 분류 task (7강) 목적형 대화 → 김성동님, DST 강의 의존 구문 분석 의존 구문 분석 단어들 사이의 관계를 분석하는 task 특징 지배소 : 의미의 중심이 되는 요소 의존소 : 지배소가 갖는 의..

이 색깔은 주석이라 무시하셔도 됩니다. 한국어 언어 모델 학습 및 다중 과제 튜닝 BERT Pre-Training BERT 모델 학습 BERT 학습의 단계 Tokenizer 만들기 데이터셋 확보 Next sentence prediction (NSP) Masking 이미 있는 거 쓰지, 왜 새로 학습해야 하는가? 도메인 특화 task의 경우, 도메인 특화된 학습 데이터만 사용하는 것이 성능이 더 좋다! ! 생물학, 생리학 자연어 task에 대해서 기존 BERT를 fine tuning하는 것 보다 생물학, 생리학 데이터로 바닥부터 학습한 모델의 성능이 더 좋음 학습을 위한 데이터 만들기 BERT 입장에서 입력은 input_ids, token_type_ids, positional encoding 형태로 만들어..