쉬엄쉬엄블로그

이 색깔은 주석이라 무시하셔도 됩니다. NL Data 관리 및 처리 도구 소개 - Pandas Pandas Pandas About Pandas 대용량 데이터 처리 가능 Pandas를 이용하면 GB 단위 이상의 대용량 처리 테이블과 시계열을 조작하기 위한 데이터 구조와 연산을 제공 데이터를 합치고 관계 연산을 수행하는 기능들, 누락 데이터 등을 처리할 수 있는 기능들 외 다양한 기능들을 제공 Excel-like data form Pandas는 기본적으로 “엑셀”과 비슷한 형태의 자료구조들을 지원 Pandas에서는 “Series”와 “DataFrame”이라는 자료구조를 제공함으로써 데이터 분석을 도와준다. Series & DataFrame Series : 1차원 배열의 형태 인덱스에 의해 데이터가 저장되고 ..

이 색깔은 주석이라 무시하셔도 됩니다. PyTorch Lightning 소개 Deep Learning Blocks Deep Learning의 진행 단계 Deep Learning Process Deep Learning Process Data Preparation 입출력 데이터를 담는 Tensor를 생성하는 과정 Model Implementation 신경망 학습을 위한 모델을 구현하는 과정 Loss Implementation 모델이 얼마나 틀렸는지를 측정하기 위한 함수 설정 Updater Implementation 초기에 설정된 가중치에서 최적의 가중치로 조정하는 옵티마이저를 구현하는 과정 Iterative Learning 데이터 Feeding을 통한 모델 반복 학습 및 검증 Data Preparation ..

이 색깔은 주석이라 무시하셔도 됩니다. Transfer Learning and Hyperparameter Tuning Convolutional Neural Networks에서 Transfer Learning (Fine-Tune, torchvision)과 Hyperparameter Tuning을 위한 pytorch 및 추가 라이브러리(Ray Tune) 사용법 학습 Transfer Learning 현실의 문제를 다룰 때, 정제된 충분한 데이터를 수집하는 일은 어려움 이에 따라 적은 데이터로 좋은 모델을 만드는 방법론이 다양하게 개발되었는데, 그 중 하나가 Transfer Learning 방법론 Transfer Learning은 지식 전이(Knowledge Transfer)를 위한 방법론으로, “Source ..

이 색깔은 주석이라 무시하셔도 됩니다. PyToch의 DataLoader DataLoader의 기본 구성 요소 dataset (★★★) DataLoader에는 앞서 생성한 dataset 인스턴스가 들어감 batch_size (★★★) 인자가 나타내고 있는 뜻 그대로 배치 사이즈를 의미 shuffle (★★★) 데이터를 DataLoader에서 섞어서 사용하겠는지를 설정할 수 있음 sample / batch_sample (★) sampler는 index를 컨트롤하는 방법 데이터의 index를 원하는 방식대로 조정 index를 컨트롤하기 때문에 설정하고 싶다면 shuffle 파라미터는 False(기본값)이어야 함 불균형 데이터셋의 경우, 클래스의 비율에 맞게끔 데이터를 제공해야할 필요가 있음 이 때 사용하는 ..

이 색깔은 주석이라 무시하셔도 됩니다. 공포의 단어 OOM (Out Of Memory) 하드웨어 환경에 따라 가장 흔하게 마주할 수 있는 에러 OOM이 해결하기 어려운 이유들… 왜 발생했는지 알기 어려움 어디서 발생했는지 알기 어려움 Error backtracking이 이상한 곳으로 감 메모리의 이전 상황 파악이 어려움 우선 시도해보기 : Batch Size ↓ → GPU clean → RUN 그 외에 발생할 수 있는 문제들… GPUUtil 사용하기 nvidia-smi처럼 GPU의 상태를 보여주는 모듈 Colab은 환경에서 GPU 상태를 보여주기 편함 iter마다 메모리가 늘어나는지 확인!! torch.cuda.empty_cache() 써보기 사용되지 않은 GPU상 cache를 정리 가용 메모리를 확보 ..

이 색깔은 주석이라 무시하셔도 됩니다. 성능 향상 방법들 모델 구조 변경 데이터 증강 하이퍼파라미터 튜닝 보통 하이퍼파라미터 튜닝이 마지막으로 시도하는 방법 데이터 증강이 성능 향상에 가장 도움된다고 함 Hyperparameter Tuning 모델 스스로 학습하지 않는 값은 사람이 지정 leanring rate 모델의 크기 optimizer 등등 하이퍼 파라미터에 의해서 성능이 크게 좌우될 때도 있기 때문에 마지막 0.01을 쥐어짜야 할 때 도전해볼만 함 가장 기본적인 방법들 grid random 최근에는 베이지안 기반 기법들이 주도 BOHB (2018) Ray mutli-node mutli processing 지원 모듈 ML/DL의 병렬 처리를 위해 개발된 모듈 기본적으로 현재의 분산병렬 ML/DL 모..