(딥러닝) Historical Review

이 색깔은 주석이라 무시하셔도 됩니다.

Introduction

What make you a good deep leaner?

Implementation Skills

• TensorFlow
• PyTorch

Math Skills

• Linear Algebra
• Probability

Knowing a lot of recent Papers

Key Components of Deep Learning

• The data that the model can learn from
• The model how to transform the data
• The loss function that quantifies the badness of the model
• The algorithm to adjust the parameters to minimize the loss
• 이 4가지를 주의깊게 보면 연구를 조금 더 잘 이해하게 될 것

Data

Data depend on the type of the problem to solve

Model

• 모델의 성질에 따라서 좋은 결과나 안 좋은 결과가 나올 수 있음

Loss

The loss function is a proxy of what we want to achieve.

• loss function은 이루고자 하는 근사치
  • 우리가 원하는 바를 항상 이룬다는 보장은 없음

출처 : https://www.ruder.io/optimizing-gradient-descent/

Historical Review

2012 - AlexNet

 

2013 - DQN

• 벽돌깨기 게임에 강화학습 적용

2014 - Encoder / Decoder

2014 - Adam Optimizer

2015 - Generative Adversarial Network

2015 - Residual Networks

2017 - Transformer

2018 - BERT (fine-tuned NLP models)

2019 - BIG Language Models

2020 - Self Supervised Learning

 

출처: 부스트캠프 AI Tech 4기(NAVER Connect Foundation)