쉬엄쉬엄블로그

ChatGPT 그 이전 RNN - 자연어 처리 모델의 시초 1997년 개발 이후 2010년대까지 사용 LSTM, GRU 등 다양한 Variant 특징 : 한 번에 한 단어만 모델에 넣을 수 있음 단점 : 병렬화가 불가능해서, 학습 시간이 오래 걸림 Transformer - 대 LLM 시대의 시초 LLM : Large Language Model (ChatGPT처럼 Language를 이해하는 모든 Large Model을 일컬음) 병렬화를 가능하게 하는 self-attention을 사용 attention : 단어와 단어 사이의 관계 정도를 숫자로 표현 self-attention : 입력으로 들어온 모든 단어들끼리의 attention을 병렬화를 통해 한 번에 계산 → 훈련 시간 감소 + 성능 향상 Pretrai..

딥러닝 모델의 평가지표 중 하나로 F1-Score를 많이 사용하는데 얼마 전 지원한 기업의 역량평가에서 F2-Score라는 표현을 처음 접하게 되었다. 평소에 평가지표로 F1-Score를 Precision과 Recall 값의 조화평균이라고만 어렴풋이 알고 있었는데 F2-Score가 무엇인지는 전혀 알지 못했다. F2-Score가 무엇인지 찾아보니 F Beta-Score를 알게 되었고 여기에서 F1-Score가 파생된 것 같았다. F Beta-Score의 수식은 다음과 같다. $(1 + \beta^2) \frac{Precision*Recall}{(\beta^2*Precision) + Recall}$ 위 수식에서 $\beta$ 값이 1이라면 F1-Score를 의미하고 수식이 익히 알고있는 F1-Score처럼..

1. Introduction Two Types of large language models (LLMs) Base LLM 학습 데이터를 기반으로 다음 단어를 예측하는 모델 학습 데이터가 프랑스 국가에 대한 퀴즈 질문 목록일 수도 있기 때문에 프랑스의 수도를 묻는 질문을 하면 프랑스의 가장 큰 도시, 프랑스의 인구 등에 대한 질문으로 답변을 할 수도 있다. Instruction Tuned LLM Base LLM에 지침을 따르도록 추가 훈련(RLHF 등)된 모델 Base LLM에 비해 유용하고 안전한 답변을 하도록 훈련되었기 때문에 프랑스의 수도를 물어보면 파리라고 답한다. helper function def get_completion(prompt, model="gpt-3.5-turbo"): messages ..