쉬엄쉬엄블로그

이 색깔은 주석이라 무시하셔도 됩니다. 한국어 언어 모델 학습 및 다중 과제 튜닝 BERT 언어모델 BERT 모델 소개 트랜스포머 모델은 인코더와 디코더가 하나로 합쳐져있는 구성을 가짐 BERT는 self attention 즉, 트랜스포머를 사용한 모델 입력된 정보를 다시 입력된 정보로 표현하기 위해 학습됨 그런데 그냥 원본을 복원하는 것이 아니라 masked된 단어를 맞추도록 학습함 더 어렵게 만든 문제를 해결하도록 만들어서 언어를 학습하도록 만듬 * GPT-2는 원본 이미지를 특정한 sequence를 가지고 잘라낸 후 그 다음을 예측하도록 학습함* 모델 구조도 학습 코퍼스 데이터 BooksCorpus (800M words) English Wikipedia (2,500M words without lis..

이 색깔은 주석이라 무시하셔도 됩니다. 출처: 부스트캠프 AI Tech 4기(NAVER Connect Foundation)

이 색깔은 주석이라 무시하셔도 됩니다. 한국어 언어 모델 학습 및 다중 과제 튜닝 인공지능과 자연어처리 자연어처리 소개 자연어처리의 응용분야 컴퓨터는 자연어(텍스트)를 이해할 수 있는 능력이 없기 때문에 컴퓨터에서 정보 처리가 이루어지려면 반드시 수학적인 형태(숫자)로 변경되어야 함 주제 자연어를 컴퓨터가 이해할 수 있게 수학적으로 어떻게 이쁘게 인코딩할 수 있는지를 살펴본다! 인코딩이 이쁘게 되면? 디코딩을 통해 무엇이든 할 수 있다! 자연어 단어 임베딩 특징 추출과 분류 ‘분류’를 위해선 데이터를 수학적으로 표현 먼저, 분류 대상의 특징(Feature)을 파악 (Feature Extraction) 분류 대상의 특징(Feature)을 기준으로, 분류 대상을 그래프 위에 표현 가능 분류 대상들의 경계를 ..

이 색깔은 주석이라 무시하셔도 됩니다. Part 3. 더 완성된 제품으로 개발하기 MLflow 개념 잡기 MLflow가 없던 시절 사람들이 각자 자신의 코드를 Jupyter Notebook에서 작성 머신러닝 모델 학습시 사용한 Parameter, Metric을 따로 기록 개인 컴퓨터, 연구실 서버를 사용하다가 메모리 초과로 Memory Exceed 오류 발생 학습하며 생긴 Weight File을 저장해 다른 동료들에게 공유 Weight File 이름으로 Model Versioning을 하거나 아예 Versioning을 하지 않음 MLflow가 해결하려고 했던 Pain Point 실험을 추적하기 어렵다 코드를 재현하기 어렵다 모델을 패키징하고 배포하는 방법이 어렵다 모델을 관리하기 위한 중앙 저장소가 없다..

이 색깔은 주석이라 무시하셔도 됩니다. Part 3. 더 완성된 제품으로 개발하기 Docker 소개 가상화란? 개발할 때, 서비스 운영에 사용하는 서버에 직접 들어가서 개발하지 않음 Local 환경에서 개발하고, 완료되면 Staging 서버, Production 서버에 배포 개발을 진행한 Local 환경과 Production 서버 환경이 다른 경우 예) Local 환경은 윈도우 서버 환경은 Linux OS가 다르기 때문에 라이브러리, 파이썬 등 설치할 때 다르게 진행해야 함 Local 환경과 서버가 같은 OS를 사용해도, 서버에서 올바르게 작동하지 않을 수 있음 예) Local의 환경 변수 Production 서버의 환경 변수(Env) Production 서버의 사용자 그룹, Permission 다양한 ..

이 색깔은 주석이라 무시하셔도 됩니다. Part 2. 프로토타입부터 점진적으로 개선하기 Linux Linux를 알아야 하는 이유 서버에서 자주 사용하는 OS Mac, Windows도 서버로 활용은 가능하나 유료 Free, 오픈소스 여러 버전이 존재 ⇒ 여러분들의 버전을 만들 수 있음 안전성, 신뢰성, 유닉스라 Stability, Reliability 쉘 커맨드, 쉘 스크립트 CLI CLI : Terminal Command Line Interface GUI GUI : Desktop Graphic User Interface 대표적인 Linux 배포판 Debian 온라인 커뮤니티에서 제작해 배포 Ubuntu 영국의 캐노니컬이라는 회사에서 만든 배포판으로 쉽고 편한 설치 초보자들이 쉽게 접근할 수 있도록 만듬 ..