쉬엄쉬엄블로그

이 색깔은 주석이라 무시하셔도 됩니다. LSTM, GRU Long Short-Term Memory (LSTM) Core Idea : pass cell state information straightly without any transformation Solving long-term dependency problem cell state의 정보를 변환 없이 바로 전달하여 long-term dependency 문제를 해결하기 위해 제안됨 What is LSTM (Long Short-Term Memory)? cell state vector 필요한 정보를 담고 있는 벡터 hidden state vector cell state vector를 한번 더 가공해서 그 time step에서 노출할 필요가 있는 정보만을 남..

이 색깔은 주석이라 무시하셔도 됩니다. Sequential Model Naive sequence model Sequential Model(Data)을 다루는데 어려운 점 Sequential Data는 길이가 언제 끝날지 모름 입력으로 받아들여야 하는 차원을 알 수 없음 그래서 Convolution Neural Network를 사용할 수가 없음 과거에 내가 고려해야하는 정보량이 점점 늘어남 Autoregressive model 과거 timestep t개의 결과를 현재 예측에 활용 과거의 결과를 현재 예측에 활용하는 것을 autoregressive하다고 표현 Markov model (first-order autoregressive model) Latent autoregressive model 중간에 hidd..