쉬엄쉬엄블로그

이 색깔은 주석이라 무시하셔도 됩니다. Maximum Likelihood Learning Given a training set of examples, we can cast the generative model learning process as finding the best-approximating density model from the model family. 학습 데이터 샘플들이 주어졌을 때, 생성 모델 학습 과정을 모델 계열에서 가장 근사적인 밀도 모델을 찾는 것으로 볼 수 있음 Then, how can we evaluate the goodness of the approximation? 어떤 기준으로 근사가 잘 되었는지 정의하는 것이 중요 KL-divergence 근사적으로 두 분포사이의 거리를 ..

이 색깔은 주석이라 무시하셔도 됩니다. Introduction 생성 모델을 학습한다는 것은 무엇을 의미하는가? Learning a Generative Model 강아지 이미지들이 주어졌다고 가정해 보자. 모델에 다음과 같은 확률 분포 $p(x)$를 학습시키고자 한다. Generation : $\tilde x\sim p(x)$를 샘플링한다면, $\tilde x$는 개처럼 보여야 함 Density estimation : $x$가 개처럼 보이면 $p(x)$가 높아야 하고 그렇지 않으면 낮아야 함 이를 explicit models라고도 함 그럼, $p(x)$를 어떻게 나타낼까? Basic Discrete Distributions Bernoulli distribution(베르누이 분포) : (biased) coi..

이 색깔은 주석이라 무시하셔도 됩니다. Sequential Model What makes sequential modeling a hard problem to handle? 중간에 어떤 단어가 빠지거나 순서가 뒤바뀌는 단어가 있으면 모델링하기 어렵게 됨 Transformer Transformer is the first sequence transduction model based entirely on attention. Transformer는 전적으로 attention에 기초한 최초의 시퀀스 변환 모델이다. From a bird’s-eye view, this is what the Transformer does for machine translation tasks. 대략적인 관점에서, 아래 그림은 Transf..

이 색깔은 주석이라 무시하셔도 됩니다. Sequential Model Naive sequence model Sequential Model(Data)을 다루는데 어려운 점 Sequential Data는 길이가 언제 끝날지 모름 입력으로 받아들여야 하는 차원을 알 수 없음 그래서 Convolution Neural Network를 사용할 수가 없음 과거에 내가 고려해야하는 정보량이 점점 늘어남 Autoregressive model 과거 timestep t개의 결과를 현재 예측에 활용 과거의 결과를 현재 예측에 활용하는 것을 autoregressive하다고 표현 Markov model (first-order autoregressive model) Latent autoregressive model 중간에 hidd..

이 색깔은 주석이라 무시하셔도 됩니다. Semantic Segmentation 위 그림 예시처럼 이미지를 픽셀별(pixel-wise)로 객체를 분류(Classification)하는 것을 Semantic Segmentation이라고 함 아래에서 Semantic Segmentation task를 위한 접근법들을 소개 Fully Convolutional Network 파라미터 수 Left(ordinary CNN) : 4 x 4 x 16 x 10 = 2,560 Right(fully convolutional network) : 4 x 4 x 16 x 10 = 2,560 보통의 CNN 구조를 fully convolutional network로 변환하는 과정을 convolutionalization이라고 부름 Tran..

이 색깔은 주석이라 무시하셔도 됩니다. ILSVRC 대회 ImageNet Large-Scale Visual Recognition Challenge Classification / Detection / Localization / Segmentation tasks 1,000 여개의 카테고리 백만개 이상의 이미지 Training set : 456,567개 이미지 AlexNet AlexNet 모델이 처음으로 층을 깊게 쌓아서 좋은 성능을 보임 11x11 필터를 사용하는 것은 좋은 선택이 아님 필터가 볼 수 있는 영역은 커지지만 상대적으로 파라미터가 더 많이 필요해짐 Key ideas Rectified Linear Unit (ReLU) activation 사용 GPU implementation (2 GPUs) Lo..