쉬엄쉬엄블로그

이 색깔은 주석이라 무시하셔도 됩니다. 한국어 언어 모델 학습 및 다중 과제 튜닝 인공지능과 자연어처리 자연어처리 소개 자연어처리의 응용분야 컴퓨터는 자연어(텍스트)를 이해할 수 있는 능력이 없기 때문에 컴퓨터에서 정보 처리가 이루어지려면 반드시 수학적인 형태(숫자)로 변경되어야 함 주제 자연어를 컴퓨터가 이해할 수 있게 수학적으로 어떻게 이쁘게 인코딩할 수 있는지를 살펴본다! 인코딩이 이쁘게 되면? 디코딩을 통해 무엇이든 할 수 있다! 자연어 단어 임베딩 특징 추출과 분류 ‘분류’를 위해선 데이터를 수학적으로 표현 먼저, 분류 대상의 특징(Feature)을 파악 (Feature Extraction) 분류 대상의 특징(Feature)을 기준으로, 분류 대상을 그래프 위에 표현 가능 분류 대상들의 경계를 ..

이 색깔은 주석이라 무시하셔도 됩니다. Encoder-decoder architecture, Attention mechanism Seq2Seq Model It takes a sequence of words as input and gives a sequence of words as output Seq2Seq 모델은 단어들의 시퀀스를 입력으로 사용하고 단어들의 시퀀스를 출력으로 제공한다. It composed of an encoder and a decoder Seq2Seq2 모델은 encoder와 decoder로 구성되어 있다. Seq2Seq Model with Attention Attention provides a solution to the bottleneck problem Attention은 bottl..