본문 바로가기

쉬엄쉬엄블로그

검색하기
쉬엄쉬엄블로그
프로필사진 쉬엄쉬엄블로그

  • 분류 전체보기 (149)
    • 일상 및 잡다 (18)
    • 코딩 (8)
    • AI (6)
    • 부스트캠프 AI Tech 4기 (115)
Guestbook
Notice
Recent Posts
Recent Comments
Link
250x250
«   2026/02   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
Tags
  • seaborn
  • Self-attention
  • AI Math
  • N2N
  • Attention
  • Ai
  • pyTorch
  • matplotlib
  • GPT
  • 데이터 시각화
  • Data Viz
  • 딥러닝
  • AI 경진대회
  • ODQA
  • passage retrieval
  • 2023 현대차·기아 CTO AI 경진대회
  • 기아
  • Bert
  • Optimization
  • nlp
  • 현대자동차
  • Bart
  • RNN
  • mrc
  • KLUE
  • dataset
  • N21
  • 데이터 구축
  • word2vec
  • Transformer
more
Archives
Today
Total
관리 메뉴
  • 글쓰기
  • 방명록
  • RSS
  • 관리

목록Optuna (1)

쉬엄쉬엄블로그

모델 경량화 2강 실습 - 작은 모델, 좋은 파라미터 찾기

이 색깔은 주석이라 무시하셔도 됩니다. 1. Overview 1.1 Objective 충분히 좋은 configuration 찾기 어느 정도의 prior를 개입, 적은 search space를 잡고, 적지만, 대표성을 띄는 좋은 subset 데이터를 정하고(+ n-fold Cross validation 등의 테크닉) 학습 과정의 profile을 보고 early terminate 하는 기법 적용 ASHA Scheduler, BOHB(Bayesian Optimization & Hyperband) 등등 Set Hyperparameters Loss, Optimizer, Learning rate, Batchsize, ...) 2. 코드: Sample 2.1 이론과 코드의 연결 Optuna API 활용(https:/..

AI 2023. 5. 25. 18:27
이전 Prev 1 Next 다음

Blog is powered by kakao / Designed by Tistory

티스토리툴바