쉬엄쉬엄블로그

이 색깔은 주석이라 무시하셔도 됩니다. 1. Overview 1.1 Objective 충분히 좋은 configuration 찾기 어느 정도의 prior를 개입, 적은 search space를 잡고, 적지만, 대표성을 띄는 좋은 subset 데이터를 정하고(+ n-fold Cross validation 등의 테크닉) 학습 과정의 profile을 보고 early terminate 하는 기법 적용 ASHA Scheduler, BOHB(Bayesian Optimization & Hyperband) 등등 Set Hyperparameters Loss, Optimizer, Learning rate, Batchsize, ...) 2. 코드: Sample 2.1 이론과 코드의 연결 Optuna API 활용(https:/..

ChatGPT 그 이전 RNN - 자연어 처리 모델의 시초 1997년 개발 이후 2010년대까지 사용 LSTM, GRU 등 다양한 Variant 특징 : 한 번에 한 단어만 모델에 넣을 수 있음 단점 : 병렬화가 불가능해서, 학습 시간이 오래 걸림 Transformer - 대 LLM 시대의 시초 LLM : Large Language Model (ChatGPT처럼 Language를 이해하는 모든 Large Model을 일컬음) 병렬화를 가능하게 하는 self-attention을 사용 attention : 단어와 단어 사이의 관계 정도를 숫자로 표현 self-attention : 입력으로 들어온 모든 단어들끼리의 attention을 병렬화를 통해 한 번에 계산 → 훈련 시간 감소 + 성능 향상 Pretrai..

딥러닝 모델의 평가지표 중 하나로 F1-Score를 많이 사용하는데 얼마 전 지원한 기업의 역량평가에서 F2-Score라는 표현을 처음 접하게 되었다. 평소에 평가지표로 F1-Score를 Precision과 Recall 값의 조화평균이라고만 어렴풋이 알고 있었는데 F2-Score가 무엇인지는 전혀 알지 못했다. F2-Score가 무엇인지 찾아보니 F Beta-Score를 알게 되었고 여기에서 F1-Score가 파생된 것 같았다. F Beta-Score의 수식은 다음과 같다. $(1 + \beta^2) \frac{Precision*Recall}{(\beta^2*Precision) + Recall}$ 위 수식에서 $\beta$ 값이 1이라면 F1-Score를 의미하고 수식이 익히 알고있는 F1-Score처럼..

1. Introduction Two Types of large language models (LLMs) Base LLM 학습 데이터를 기반으로 다음 단어를 예측하는 모델 학습 데이터가 프랑스 국가에 대한 퀴즈 질문 목록일 수도 있기 때문에 프랑스의 수도를 묻는 질문을 하면 프랑스의 가장 큰 도시, 프랑스의 인구 등에 대한 질문으로 답변을 할 수도 있다. Instruction Tuned LLM Base LLM에 지침을 따르도록 추가 훈련(RLHF 등)된 모델 Base LLM에 비해 유용하고 안전한 답변을 하도록 훈련되었기 때문에 프랑스의 수도를 물어보면 파리라고 답한다. helper function def get_completion(prompt, model="gpt-3.5-turbo"): messages ..

이 색깔은 주석이라 무시하셔도 됩니다. 1. Overview 1.1 Conventional DL Training Pipeline Data Engineering Data Cleansing, Preprocessing Feature Engineering Select ML Algorithm Select Backbone Model(ResNet, MobileNet, EfficientNet, ...) Set Hyperparameters Loss, Optimizer, Learning rate, Batchsize, ...) … 반복적인(Human in the Loop) Tuning 과정 좋은 configuration을 찾을 때까지 반복 1.2 Objectives of AutoML AutoML: "True" End-to-..

1. Introudction(경량화) 1.1 경량화의 목적 On Device AI IoT 디바이스(Smart Phone, Watch, …) 자체에 머신러닝, 딥러닝 애플리케이션이 탑재 Limitations Power usage(Battery) RAM Memory usage Storage Computing power AI on cloud(or server) On device AI의 제약은 줄어들지만 latency와 throughput의 제약이 존재 e.g. 한 요청의 소요 시간, 단위 시간당 처리 가능한 요청 수 Computation as a key component of AI progress 2012년 이후 큰 AI 모델 학습에 들어가는 연산은 3, 4개월마다 두배로 증가해옴 2012년 기준, 2018년..