쉬엄쉬엄블로그

이 색깔은 주석이라 무시하셔도 됩니다. Transfer Learning and Hyperparameter Tuning Convolutional Neural Networks에서 Transfer Learning (Fine-Tune, torchvision)과 Hyperparameter Tuning을 위한 pytorch 및 추가 라이브러리(Ray Tune) 사용법 학습 Transfer Learning 현실의 문제를 다룰 때, 정제된 충분한 데이터를 수집하는 일은 어려움 이에 따라 적은 데이터로 좋은 모델을 만드는 방법론이 다양하게 개발되었는데, 그 중 하나가 Transfer Learning 방법론 Transfer Learning은 지식 전이(Knowledge Transfer)를 위한 방법론으로, “Source ..

이 색깔은 주석이라 무시하셔도 됩니다. 성능 향상 방법들 모델 구조 변경 데이터 증강 하이퍼파라미터 튜닝 보통 하이퍼파라미터 튜닝이 마지막으로 시도하는 방법 데이터 증강이 성능 향상에 가장 도움된다고 함 Hyperparameter Tuning 모델 스스로 학습하지 않는 값은 사람이 지정 leanring rate 모델의 크기 optimizer 등등 하이퍼 파라미터에 의해서 성능이 크게 좌우될 때도 있기 때문에 마지막 0.01을 쥐어짜야 할 때 도전해볼만 함 가장 기본적인 방법들 grid random 최근에는 베이지안 기반 기법들이 주도 BOHB (2018) Ray mutli-node mutli processing 지원 모듈 ML/DL의 병렬 처리를 위해 개발된 모듈 기본적으로 현재의 분산병렬 ML/DL 모..