쉬엄쉬엄블로그

이 색깔은 주석이라 무시하셔도 됩니다. 한국어 언어 모델 학습 및 다중 과제 튜닝 인공지능과 자연어처리 자연어처리 소개 자연어처리의 응용분야 컴퓨터는 자연어(텍스트)를 이해할 수 있는 능력이 없기 때문에 컴퓨터에서 정보 처리가 이루어지려면 반드시 수학적인 형태(숫자)로 변경되어야 함 주제 자연어를 컴퓨터가 이해할 수 있게 수학적으로 어떻게 이쁘게 인코딩할 수 있는지를 살펴본다! 인코딩이 이쁘게 되면? 디코딩을 통해 무엇이든 할 수 있다! 자연어 단어 임베딩 특징 추출과 분류 ‘분류’를 위해선 데이터를 수학적으로 표현 먼저, 분류 대상의 특징(Feature)을 파악 (Feature Extraction) 분류 대상의 특징(Feature)을 기준으로, 분류 대상을 그래프 위에 표현 가능 분류 대상들의 경계를 ..

이 색깔은 주석이라 무시하셔도 됩니다. LSTM, GRU Long Short-Term Memory (LSTM) Core Idea : pass cell state information straightly without any transformation Solving long-term dependency problem cell state의 정보를 변환 없이 바로 전달하여 long-term dependency 문제를 해결하기 위해 제안됨 What is LSTM (Long Short-Term Memory)? cell state vector 필요한 정보를 담고 있는 벡터 hidden state vector cell state vector를 한번 더 가공해서 그 time step에서 노출할 필요가 있는 정보만을 남..

이 색깔은 주석이라 무시하셔도 됩니다. Basics of Recurrent Neural Networks (RNNs) Types of RNNs Basic structure unrolled version diagram Vanilla RNN Recurrent Neural Network Inputs and output of RNNs (rolled version) We usually want to predict a vector at some time steps 특정 time step에서의 벡터를 예측하길 원함 How to calculate the hidden state of RNNs We can process a sequence of vectors by applying a recurrence formula at ..

이 색깔은 주석이라 무시하셔도 됩니다. Sequential Model Naive sequence model Sequential Model(Data)을 다루는데 어려운 점 Sequential Data는 길이가 언제 끝날지 모름 입력으로 받아들여야 하는 차원을 알 수 없음 그래서 Convolution Neural Network를 사용할 수가 없음 과거에 내가 고려해야하는 정보량이 점점 늘어남 Autoregressive model 과거 timestep t개의 결과를 현재 예측에 활용 과거의 결과를 현재 예측에 활용하는 것을 autoregressive하다고 표현 Markov model (first-order autoregressive model) Latent autoregressive model 중간에 hidd..