쉬엄쉬엄블로그

이 색깔은 주석이라 무시하셔도 됩니다. 한국어 언어 모델 학습 및 다중 과제 튜닝 인공지능과 자연어처리 자연어처리 소개 자연어처리의 응용분야 컴퓨터는 자연어(텍스트)를 이해할 수 있는 능력이 없기 때문에 컴퓨터에서 정보 처리가 이루어지려면 반드시 수학적인 형태(숫자)로 변경되어야 함 주제 자연어를 컴퓨터가 이해할 수 있게 수학적으로 어떻게 이쁘게 인코딩할 수 있는지를 살펴본다! 인코딩이 이쁘게 되면? 디코딩을 통해 무엇이든 할 수 있다! 자연어 단어 임베딩 특징 추출과 분류 ‘분류’를 위해선 데이터를 수학적으로 표현 먼저, 분류 대상의 특징(Feature)을 파악 (Feature Extraction) 분류 대상의 특징(Feature)을 기준으로, 분류 대상을 그래프 위에 표현 가능 분류 대상들의 경계를 ..

이 색깔은 주석이라 무시하셔도 됩니다. Transformer - Review for NLP Transformer Transformer 탄생 배경, Transformer에 대한 이해, 자연어처리를 위한 Transformer 기존 NN의 문제점 기존의 신경망은 Sequence data에 대해서는 처리하기 어려움 입력이 하나가 들어오면 출력이 하나가 나감 자연어는 기본적으로 하나가 들어와서 하나가 나가는 구조가 아님 입력이 하나가 들어오고 출력이 하나가 나가는 구조로는 시퀀스 정보를 처리하기에는 쉽지 않음 RNN의 등장 Sequence data의 처리를 위한 RNN(Recurrent Neural Network) 등장 RNN의 문제점 3번의 정보가 2번에 들어올 수 없는 문제가 있음 무조건 t-1이 끝나야 t가..

이 색깔은 주석이라 무시하셔도 됩니다. Transformer (cont’d) Transformer Transformer : Multi-Head Attention The input word vectors are the queries, keys and values 입력되는 단어 벡터들은 query, key, value로 구성됨 In other words, the word vectors themselves select each other 즉, 벡터라는 단어 자체가 서로를 선택함 Problem of single attention Only one way for words to interact with one another single attention은 단어들이 서로 상호 작용하는 유일한 방법임 Solution ..

이 색깔은 주석이라 무시하셔도 됩니다. Sequential Model What makes sequential modeling a hard problem to handle? 중간에 어떤 단어가 빠지거나 순서가 뒤바뀌는 단어가 있으면 모델링하기 어렵게 됨 Transformer Transformer is the first sequence transduction model based entirely on attention. Transformer는 전적으로 attention에 기초한 최초의 시퀀스 변환 모델이다. From a bird’s-eye view, this is what the Transformer does for machine translation tasks. 대략적인 관점에서, 아래 그림은 Transf..