쉬엄쉬엄블로그

이 색깔은 주석이라 무시하셔도 됩니다. Important Concepts in Optimization Generalization Under-fitting vs. over-fitting Cross validation Bias-variance tradeoff Bootstrapping Bagging and boosting Generalization How well the learned model will behave on unseen data. Generalization은 본 적 없는 데이터에 대해서 모델이 얼마나 잘 작동하는가를 의미 학습에 사용하지 않았던 데이터에 대해서는 성능이 떨어질 수 있음 Underfitting vs. Overfitting 학습 데이터에 대해서만 과적합이 되면 본 적 없는 새로운 데..

이 색깔은 주석이라 무시하셔도 됩니다. 1. Overview 1.1 Objective 충분히 좋은 configuration 찾기 어느 정도의 prior를 개입, 적은 search space를 잡고, 적지만, 대표성을 띄는 좋은 subset 데이터를 정하고(+ n-fold Cross validation 등의 테크닉) 학습 과정의 profile을 보고 early terminate 하는 기법 적용 ASHA Scheduler, BOHB(Bayesian Optimization & Hyperband) 등등 Set Hyperparameters Loss, Optimizer, Learning rate, Batchsize, ...) 2. 코드: Sample 2.1 이론과 코드의 연결 Optuna API 활용(https:/..

이 색깔은 주석이라 무시하셔도 됩니다. 1. Overview 1.1 Conventional DL Training Pipeline Data Engineering Data Cleansing, Preprocessing Feature Engineering Select ML Algorithm Select Backbone Model(ResNet, MobileNet, EfficientNet, ...) Set Hyperparameters Loss, Optimizer, Learning rate, Batchsize, ...) … 반복적인(Human in the Loop) Tuning 과정 좋은 configuration을 찾을 때까지 반복 1.2 Objectives of AutoML AutoML: "True" End-to-..