쉬엄쉬엄블로그

ChatGPT 그 이전 RNN - 자연어 처리 모델의 시초 1997년 개발 이후 2010년대까지 사용 LSTM, GRU 등 다양한 Variant 특징 : 한 번에 한 단어만 모델에 넣을 수 있음 단점 : 병렬화가 불가능해서, 학습 시간이 오래 걸림 Transformer - 대 LLM 시대의 시초 LLM : Large Language Model (ChatGPT처럼 Language를 이해하는 모든 Large Model을 일컬음) 병렬화를 가능하게 하는 self-attention을 사용 attention : 단어와 단어 사이의 관계 정도를 숫자로 표현 self-attention : 입력으로 들어온 모든 단어들끼리의 attention을 병렬화를 통해 한 번에 계산 → 훈련 시간 감소 + 성능 향상 Pretrai..

1. Introduction Two Types of large language models (LLMs) Base LLM 학습 데이터를 기반으로 다음 단어를 예측하는 모델 학습 데이터가 프랑스 국가에 대한 퀴즈 질문 목록일 수도 있기 때문에 프랑스의 수도를 묻는 질문을 하면 프랑스의 가장 큰 도시, 프랑스의 인구 등에 대한 질문으로 답변을 할 수도 있다. Instruction Tuned LLM Base LLM에 지침을 따르도록 추가 훈련(RLHF 등)된 모델 Base LLM에 비해 유용하고 안전한 답변을 하도록 훈련되었기 때문에 프랑스의 수도를 물어보면 파리라고 답한다. helper function def get_completion(prompt, model="gpt-3.5-turbo"): messages ..