티스토리

쉬엄쉬엄블로그

검색하기

블로그 홈

쉬엄쉬엄블로그

ezez.tistory.com/m

쉬엄쉬엄블로그 님의 블로그입니다.

구독자: 2

방명록 방문하기

주요 글 목록

2023 현대차·기아 CTO AI 경진대회 이후 크리스마스 선물 2023 현대차·기아 CTO AI 경진대회 수료식이 마무리 된지 3개월이 지났을 쯤 현대엔지비에서 크리스마스 선물을 보내주셨습니다. 블루투스 키보드 K380! 포장도 예쁘게 해주셨습니다. (리본 매듭으로 묶여있었는데 사진 찍기 전에 풀렸습니다...) 택배 박스 안에는 경진대회 참가자에게 감사를 전한다는 메시지의 카드가 함께 동봉되었습니다. 비록 이번 대회에서 수상은 못했지만 좋은 경험의 기회를 주셔서 감사한데 거기에 대회와 수료식이 끝난 이후에도 이렇게 선물까지 챙겨주시다니... 감동입니다. 이후 개최될 현대차·기아 CTO AI 경진대회에도 관심을 갖고 많이 참가해주시면 좋을 것 같습니다. 공감수 1 댓글수 0 2023. 12. 16.
(Product Serving) Cloud 이 색깔은 주석이라 무시하셔도 됩니다. Part 2. 프로토타입부터 점진적으로 개선하기 2.4 Cloud 1. Cloud Cloud 서비스를 사용하는 이유 웹, 앱 서비스를 만드는 경우 자신의 컴퓨터(localhost)로 서비스를 만들 수도 있음 IP로 누구나 접근할 수 있게 수정하고, IP를 공유하기 등 그러나 이런 경우 자신의 컴퓨터가 종료되면 웹, 앱 서비스도 종료됨 이런 경우 전통적인 접근 방법 물리적 공간, 확장성을 고려한 서버실을 만들고 운영 IDC(Internet Data Center) 서버 컴퓨터를 넣을 공간 + 추후 서버를 추가할 때 즉각적으로 확장할 수 있는지 전기, 에어컨 등 서버가 급작스럽게 종료되지 않도록 준비가 필요함 갑자기 트래픽이 몰릴 경우, 컴퓨터 10대를 설치하기 어려움(.. 공감수 1 댓글수 0 2023. 9. 20.
(AI 서비스 개발) 내가 만든 AI 모델은 합법일까, 불법일까 이 색깔은 주석이라 무시하셔도 됩니다. 내가 만든 AI 모델은 합법일까, 불법일까 저작권법, 우리가 왜 알아야 할까? 좋은 AI 모델은 좋은 데이터로부터 나온다. 새롭게 데이터를 제작할 때, 저작권을 고려하지 않으면 합법적으로 사용할 수 없게 된다. 합법적이지 않은 데이터로 학습한 모델 또한 완전한 합법의 영역에 있다고 보기 어렵다. 학계에서도 점점 저작권과 라이센스에 대해 주목하고 있다. 아직 저작권법은 AI 모델 개발을 고려하지 않은 부분이 많다. 현재의 저작권법은 아직 “AI 산업”을 고려하지 않고 있다. AI 분야 저작권 면책조항이 신설된 저작권법 개정안이 추진되고 있는 상황 AI와 창작자 모두를 고려한 좋은 방향의 법 개정을 위해 관심을 가질 필요가 있다 용어 정의 저작권 사람의 생각이나 감정을.. 공감수 0 댓글수 1 2023. 9. 19.
(MRC) QA with Phrase Retrieval 이 색깔은 주석이라 무시하셔도 됩니다. QA with Phrase Retrieval Phrase Retrieval in Open-Domain Question Answering Current limitation of Retriever-Reader approach Error Propagation : 5~10개의 문서만 reader에게 전달됨 Query-dependent encoding : query에 따라 정답이 되는 answer span에 대한 encoding이 달라짐 How does Document Search work? One solution : Phrase Indexing Query-Agnostic Decomposition F가 G와 H로 나뉠 수 있다는 가정이 필요함 따라서 실질적으로 정확히 dec.. 공감수 0 댓글수 0 2023. 9. 18.
(MRC) Closed-book QA with T5 이 색깔은 주석이라 무시하셔도 됩니다. Closed-book QA with T5 Closed-book Question Answering Current approaches of builiding QA system Idea of Closed-book Question Answering 모델이 이미 사전학습으로 대량의 지식을 학습했다면, 사전학습 언어모델 자체가 이미 하나의 knowledge storage라고 볼 수 있지 않을까? ⇒ 굳이 다른 곳에서 지식을 가져와야할 필요가 없지 않을까? 모델 안에 모든 정보가 포함되어 있어야 함 대량의 지식을 사전학습한 언어 모델이 하나의 knowledge storage인 것 Zero-shot QA performance of GPT-2 사전학습 시 전혀 본적 없는 Natur.. 공감수 0 댓글수 0 2023. 9. 16.
(MRC) Reducing Training Bias 이 색깔은 주석이라 무시하셔도 됩니다. Reducing Training Bias Definition of Bias Bias의 종류 Bias in learning 학습할 때 과적합을 막거나 사전 지식을 주입하기 위해 특정 형태의 함수를 선호하는 것(inductive bias) A Biased World 현실 세계가 편향되어 있기 때문에 모델에 원치 않는 속성이 학습되는 것 (historical bias) 성별과 직업 간 관계 등 표면적인 상관관계 때문에 원치 않는 속성이 학습되는 것 (co-occurrence bias) Bias in Data Generation 입력과 출력을 정의한 방식 때문에 생기는 편향 (specification bias) 데이터를 샘플링한 방식 때문에 생기는 편향 (sampling .. 공감수 0 댓글수 0 2023. 9. 15.
2023 현대차·기아 CTO AI 경진대회 수료식 7월 10일 OT를 시작으로 참가한 AI 경진대회가 마무리되고 8월 31일 수료식이 진행되었습니다. 수료식은 한양대학교 현대엔지비(정몽구 미래자동차연구센터)에서 진행되었습니다. 수료식 전에 사전 과제로 AI 경진대회 활동 포트폴리오를 작성하여 제출했습니다. 수료식 일정은 다음과 같았습니다. 활동비 지급을 위한 필수서류 작성 및 보안 점검 서류를 작성하면서 HMG 컨퍼런스, 현대자동차 연구장학제도(연구장학생 모집)에 대해 설명해주셨습니다. HMG 컨퍼런스는 10월? 11월쯤 개최될 예정이라고 합니다. HSAT 정기 코딩 인증평가는 11월쯤 실시된다고 합니다. (Lv. 3를 취득하면 현대자동차 연구장학제도의 코딩테스트를 면제 받을 수 있다고 합니다.) 현대자동차 x 서울대학교 계약학과 모집과 연구장학생 모집.. 공감수 2 댓글수 0 2023. 9. 14.
(MRC) Linking MRC and Retrieval 이 색깔은 주석이라 무시하셔도 됩니다. Linking MRC and Retrieval Introduction to ODQA Linking MRC and Retrieval : Open-domain Question Answering (ODQA) MRC : 지문이 주어진 상황에서 질의응답 ODQA : 지문이 따로 주어지지 않음. 방대한 World Knowledge에 기반해서 질의응답 Ex) Modern search engines : 연관 문서 뿐만 아니라 질문의 답을 같이 제공 History of ODQA Text retrieval conference(TREC) - QA Tracks (1999-2007) : 연관문서만 반환하는 information retrieval(IR)에서 더 나아가서, short answ.. 공감수 0 댓글수 0 2023. 9. 14.
(MRC) Passage Retrieval-Scaling Up 이 색깔은 주석이라 무시하셔도 됩니다. Passage Retrieval - Scailing Up Passage Retrieval and Similarity Search 복습 Retrieval with dense embedding 인퍼런스 : Passage와 query를 각각 임베딩한 후 query로부터 거리가 가까운 순서대로 passage에 순위를 매김 MIPS(Maximum Inner Product Search) 주어진 질문(query) 벡터 q에 대해 Passage 벡터 v들 중 가장 질문과 관련된 벡터를 찾아야함 여기서 관련성은 내적(inner product)이 가장 큰 것 4, 5강에서 사용한 검색 방법 : brute-force(exhaustive) search 저장해둔 모든 Sparse/Dens.. 공감수 0 댓글수 0 2023. 9. 13.
(MRC) Passage Retrieval-Dense Embedding 이 색깔은 주석이라 무시하셔도 됩니다. Passage Retrieval-Dense Embedding Dense Embedding Introduction to Dense Embedding Passage Embedding 구절(Passage)을 벡터로 변환하는 것 Sparse Embedding TF-IDF 벡터는 Sparse하다. 0이 0이 아닌 값보다 많다 Limitations of sparse embedding 차원의 수가 매우 크다 → compressed format으로 극복 가능 유사성을 고려하지 못한다 Dense Embedding이란? Complementray to sparse representations by design 더 작은 차원의 고밀도 벡터 (length = 50-1000) 각 차원이 특.. 공감수 1 댓글수 0 2023. 9. 12.
(MRC) Passage Retrieval-Sparse Embedding 이 색깔은 주석이라 무시하셔도 됩니다. Passage Retrieval-Sparse Embedding Sparse Embedding Introduction to Passage Retrieval Passage Retrieval 질문(query)에 맞는 문서(passage)를 찾는 것 Passage Retrieval with MRC Open-domain Question Answering : 대규모의 문서 중에서 질문에 대한 답을 찾기 Passage Retrieval과 MRC를 이어서 2-Stage로 만들 수 있음 Overview of Passage Retrieval Query와 Passage를 임베딩한 뒤 유사도로 랭킹을 매기고, 유사도가 가장 높은 Passage를 선택함 Passage Embedding a.. 공감수 0 댓글수 0 2023. 9. 11.
(MRC) Generation-based MRC 이 색깔은 주석이라 무시하셔도 됩니다. Generation-based MRC Generation-based MRC Generation-based MRC 문제 정의 MRC 문제를 푸는 방법 Extraction-based mrc : 지문(context)내 답의 위치를 예측 ⇒ 분류 문제 (classification) Generation-based mrc : 주어진 지문과 질의(question)를 보고, 답변을 생성 ⇒ 생성 문제(generation) Generation-based MRC 평가 방법 동일한 extractive answer datasets ⇒ Extraction-based MRC와 동일한 평가 방법을 사용(recap) Extract Match(EM) Score EM = 1 when (Charac.. 공감수 0 댓글수 0 2023. 9. 8.
(MRC) Extraction-based MRC 이 색깔은 주석이라 무시하셔도 됩니다. Extraction-based MRC Extraction-based MRC 문제 정의 질문(question)의 답변(answer)이 항상 주어진 지문(context)내에 span으로 존재 e.g. SQuAD, KorQuAD, NewsQA, Natural Questions, etc. Extraction-based MRC datasets in Hugging Face datasets Extraction-based MRC 평가 방법 Exact Match (EM) Score 예측값과 정답이 캐릭터 단위로 완전히 똑같은 경우에만 1점 부여 하나라도 다른 경우 0점 F1 Score 예측값과 정답의 overlap을 비율로 계산 0점과 1점사이의 부분점수를 받을 수 있음 예제 Ex.. 공감수 1 댓글수 1 2023. 9. 7.
(MRC) MRC Intro 이 색깔은 주석이라 무시하셔도 됩니다. 출처: 부스트캠프 AI Tech 4기(NAVER Connect Foundation) 공감수 0 댓글수 0 2023. 9. 6.
(데이터 제작) 관계 추출 데이터 구축 실습 이 색깔은 주석이라 무시하셔도 됩니다. 관계 추출 데이터 구축 실습 과제 정의 과제 정의 시 고려할 요소 과제의 목적 관계 추출(Relation Extraction)이란 문장에 등장하는 두 개체 간의 관계를 주석하는 것이다. 관계 추출의 대상이 되는 개체명을 인식하고, 각 개체가 주체(subject)인지 대상(object)인지를 파악한 뒤 그 둘 간의 관계를 주석한다. 주체와 대상, 관계로 이루어진 트리플(triplet)을 완성한다. 특정한 도메인에 맞추어 관계 분류(Class) 목록을 확장하고, 확장된 관계로 주석한 데이터를 만든다. 데이터 구축 규모 기존 데이터의 구축 규모 기간을 정해놓고 프로젝트를 하는 경우에는 기간 내에 가능한 정도의 규모를 적당하게 잡는 것이 중요 원시 데이터 기존 데이터의 출.. 공감수 0 댓글수 0 2023. 9. 5.
(데이터 제작) 관계 추출 관련 논문 읽기 이 색깔은 주석이라 무시하셔도 됩니다. 관계 추출 관련 논문 읽기 Position-aware Attention and Supervised Data Improve Slot Filling 목차 Introduction A Position-aware Neural Sequence Model Suitable for Relation Extraction The TAC Relation Extraction Dataset Data collection Dataset stratification Discussion Experiments Related Word Conclusion Appendix Overview The TAC Relation Extraction Dataset 문장이 길어졌다는 것은 문장이 그만큼 복잡해졌다는 의미이.. 공감수 0 댓글수 0 2023. 9. 4.
(데이터 제작) 관계 추출 과제의 이해 이 색깔은 주석이라 무시하셔도 됩니다. 관계 추출 과제의 이해 개체명 인식 & 관계 추출의 이해 관계 추출 관련 과제의 이해 개체명(Entity) 인식 NER, Named Entity Recognition 개체명이란 인명, 지명, 기관명 등과 같은 고유명사나 명사구를 의미 개체명 인식 태스크는 문장을 분석 대상으로 삼아서 문장에 출현한 개체명의 경계를 인식하고, 각 개체명에 해당하는 태그를 주석함 KLUE에서는 국제적인 기준에서 가장 널리 알려진 CoNLL 2003의 태그 체계 및 Stanford NER을 바탕으로 국내 TTA 표준 지침의 주석 가이드라인에 따라 데이터를 구축함 PS(사람), LC(지역), OG(기관), DT(날짜), TI(시간), QT(수량) 자연어처리를 한다는 것은 언어에 대한 이해가.. 공감수 1 댓글수 1 2023. 9. 2.
(데이터 제작) 데이터 구축 가이드라인 작성 기초 이 색깔은 주석이라 무시하셔도 됩니다. 데이터 구축 가이드라인 작성 기초 가이드라인의 유형 문서형 가이드라인 예시 한국어 학습자 말뭉치 구축 가이드라인 튜토리얼 가이드라인 예시 가이드라인의 구성 요소 데이터 구축 목적 정의 예시 작업자들의 작업에 대한 이해도를 높여 더 높은 품질의 데이터를 만들 수 있도록 돕는 역할 데이터 구축 가이드라인 용어 정의 예시 데이터 수집 가이드라인 예 데이터 체계 제시 예시 데이터 구축 도구 사용법 예시 가이드라인 버전 관리 가이드라인은 구축과 검수 과정을 통해 지속적으로 개정되어야 함 개정 전과 개정 후 어떤 것이 변화하였는지 비교하여 볼 수 있도록 버전 관리가 되는 것이 가장 좋음 버전별로 작성자와 개정일을 기입해두는 것이 관리에 도움이 됨 가이드라인 작성 도구 Goog.. 공감수 0 댓글수 0 2023. 9. 1.
(데이터 제작) 데이터 구축 작업 설계 이 색깔은 주석이라 무시하셔도 됩니다. 데이터 구축 작업 설계 데이터 구축 프로세스 Revising the spec while working on the guidelines and doing the an annotation occurs frequently enough that we refer to it as the MAMA cycle: Model-Annotate-Model-Annotate(the Annotate step includes writing the guidelines) 지침을 작성하고 주석하는 동안 spec(설계?)을 수정하는 경우가 MAMA 사이클(Model-Annotate-Model-Annotate)이라고 불릴 정도로 자주 발생한다(주석 단계에는 지침 작성이 포함된다). 예시 데이터 구축 프.. 공감수 0 댓글수 0 2023. 8. 31.
(데이터 제작) 원시 데이터의 수집과 가공 이 색깔은 주석이라 무시하셔도 됩니다. 원시 데이터의 수집과 가공 원시 데이터란? 과제를 해결하기 위해 특정 도메인, 장르, 주제 등에 대하여 조건에 맞춰 수집하였으나, 주석 단계를 거치지 않은 상태의 데이터 원하는 형태로 가공하기 이전의 데이터로 목적에 맞는 전처리 과정을 거쳐 가공이 되어야 활용할 수 있음 원시 텍스트 수집 시 검토 사항 5W1H 항목 설명 What 수집 대상, 포함 요소(메타 정보) 시간별, 주제별, 지역별, 매체별 대상, 텍스트 생성 주체, 텍스트 생성 시기 등 When 수집 기간 수집 작업 기간 Where 수집 장소(수집 대상, 저장 대상) 크라우드 소싱 플랫폼, SNS, 크롤링 서버, 로컬 저장소 등 Who 담당자 수집 작업 담당자 How 수집 방법, 수집 주기, 데이터 형식,.. 공감수 0 댓글수 0 2023. 8. 30.
(데이터 제작) 자연어 처리 데이터 소개2 이 색깔은 주석이라 무시하셔도 됩니다. 자연어 처리 데이터 소개 더 알아보기 최신 자연어처리 데이터를 찾는 법 http://nlpprogress.com/ https://paperswithcode.com https://aclweb.org/aclwiki/Main_Page 기본적으로 영어로 제작된 데이터에서 다른 언어로 제작되기 때문에 먼저 영어 데이터를 찾아 보는 게 좋음 질의응답 Question Answering SQuAD https://rajpurkar.github.io/SQuAD-explorer/ 위키피디아 데이터를 기반으로 제작한 기계독해 및 질의응답 데이터 SQuAD2.0 데이터 형식 SQuAD1.0 데이터 구축 구축 대상 기사 추출 위키피디아 상위 10,000 기사 중 500자 이하인 536 기사.. 공감수 0 댓글수 0 2023. 8. 29.
(데이터 제작) 자연어 처리 데이터 소개1 이 색깔은 주석이라 무시하셔도 됩니다. 자연어처리 데이터 소개 1 국내 언어 데이터의 구축 프로젝트 21세기 세종 계획과 모두의 말뭉치 21세기 세종 계획 ‘21세기 세종계획’은 1997년에 그 계획이 수립되었고 이듬해인 1998년부터 2007년까지 10년 동안 시행된 한국의 국어 정보화 중장기 발전 계획(홍윤표, 2009) 총 2억 어절의 자료 구축, 공개 XML 형식, 언어정보나눔터 누리집을 통해 배포하다 중단 후 DVD로만 배포 모두의 말뭉치 인공지능의 한국어 처리 능력 향상에 필수적인 한국어 학습 자료 공개 플랫폼 ‘21세기 세종계획’에 비해 일상 대화, 메신저, 웹 문서 등 구어체 자료의 비중을 높임 다층위 주석 말뭉치 포함(형태, 구문, 어휘 의미, 의미역, 개체명, 상호 참조 등) JSON .. 공감수 0 댓글수 1 2023. 8. 28.
(데이터 제작) 자연어처리 데이터 기초 이 색깔은 주석이라 무시하셔도 됩니다. 자연어처리 데이터 기초 인공지능 모델 개발을 위한 데이터 데이터의 종류 인공지능 기술의 발전 언어 모델 평가를 위한 종합적인 벤치마크 등장 벤치마크의 구성 데이터 관련 용어 정리 텍스트 text 주석, 번역, 서문 및 부록 따위에 대한 본문이나 원문 언어 문장보다 더 큰 문법 단위. 문장이 모여서 이루어진 한 덩어리의 글을 이른다. 말뭉치 corpus(단수형), plural corpora(복수형) 말뭉치(이상섭, 1988) : 어떤 기준으로든 한 덩어리로 볼 수 있는 말의 뭉치(한 저작자의 저작 전부, 특정 분야 저작 전체) 텍스트 아카이브 text archive vs 말뭉치 corpus(selected, structured, designed) 정제된 텍스트 데이터.. 공감수 0 댓글수 0 2023. 8. 27.
(데이터 제작) 데이터 제작의 A to Z 이 색깔은 주석이라 무시하셔도 됩니다. 데이터 제작의 A to Z 강의 목적 인공지능 서비스 개발을 위한 데이터 제작 과정을 이해한다. 자연어처리 과제(Task)별 데이터의 특성을 탐구한다. 실습을 통해 실제 데이터 구축 과정을 체험한다. 강의 목차 데이터 제작의 A to Z 자연어처리 데이터 기초 자연어처리 데이터 소개 1 자연어처리 데이터 소개 2 원시 데이터의 수집과 가공 데이터 구축 작업 설계 데이터 구축 가이드라인 작성 기초 관계 추출 과제의 이해 관계 추출 관련 논문 읽기 관계 추출 데이터 구축 실습 데이터 제작의 P;ㅠ(피땀눈물) 사람이 보기에도 'P;ㅠ'를 피땀눈물 이라고 읽기가 힘든데 이것을 자연어처리 모델이 이해하고 처리할 수 있도록 도와줘야 하는 것이 자연어처리이기 때문.. 공감수 0 댓글수 0 2023. 8. 24.
(KLUE) 자연어처리 연구 이 색깔은 주석이라 무시하셔도 됩니다. 한국어 언어 모델 학습 및 다중 과제 튜닝 Transformer와 multi-modal 연구 BERT 이후의 LM XLNet Relative positional encoding 방식 적용 (Transformer-XL) sequence의 max length 길이 제한 문제를 해결하기 위한 방법 Positional encoding → token간 관계성을 표현하기 위함 BERT처럼 0, 1, 2, 3 … 으로 표현하는 것이 아니라, 현재 token의 위치 대비 0번째, 1번째, 2번째, … 상대적 거리 표현법을 사용 Sequence 길이에 제한이 없어짐 Permutation langauge modeling mask token을 없앰 순열 조합을 통해 순서를 모두 섞고 .. 공감수 0 댓글수 0 2023. 8. 23.
(KLUE) GPT 언어 모델 이 색깔은 주석이라 무시하셔도 됩니다. 한국어 언어 모델 학습 및 다중 과제 튜닝 GPT 언어 모델 BERT 모델은 자연어에 대한 임베딩 모델이라 할 수 있고 GPT는 자연어 생성에 특화된 모델 GPT 모델 소개 [자연어 문장 → 분류] 성능이 아주 좋은 디코더인 GPT 덕분에 적은 양의 데이터에서도 높은 분류 성능을 나타냄 다양한 자연어 task에서 SOTA 달성 (BERT가 나오기 전 GPT1) Pre-train 언어 모델의 새 지평을 열었음 → BERT로 발전의 밑거름 하지만 여전히, 지도 학습을 필요로 하며, labeled data가 필수임 특정 task를 위해 fine-tuning된 모델은 task에서 사용 불가능 “언어”의 특성 상, 지도 학습의 목적 함수는 비지도 학습의 목적함수와 같다. →.. 공감수 2 댓글수 0 2023. 8. 22.
(KLUE) BERT 언어모델 기반의 문장 토큰 분류 이 색깔은 주석이라 무시하셔도 됩니다. 출처: 부스트캠프 AI Tech 4기(NAVER Connect Foundation) 공감수 0 댓글수 0 2023. 8. 21.
(KLUE) BERT 언어모델 기반의 두 문장 관계 분류 이 색깔은 주석이라 무시하셔도 됩니다. 출처: 부스트캠프 AI Tech 4기(NAVER Connect Foundation) 공감수 0 댓글수 0 2023. 8. 18.
(KLUE) BERT 언어모델 기반의 단일 문장 분류 이 색깔은 주석이라 무시하셔도 됩니다. 한국어 언어 모델 학습 및 다중 과제 튜닝 BERT 언어모델 기반의 단일 문장 분류 KLUE 데이터셋 한국어 자연어 이해 벤치마크(Korean Langauge Understanding Evaluation, KLUE) 자연어 task 유형 문장 분류, 관계 추출 → 단일 문장 분류 task (5강) 문장 유사도 → 문장 임베딩 벡터의 유사도 (e.g. [CLS]) 자연어 추론 → 두 문장 관계 분류 task (6강) 개체명 인식, 품사 태깅, 질의 응답 → 문장 토큰 분류 task (7강) 목적형 대화 → 김성동님, DST 강의 의존 구문 분석 의존 구문 분석 단어들 사이의 관계를 분석하는 task 특징 지배소 : 의미의 중심이 되는 요소 의존소 : 지배소가 갖는 의.. 공감수 0 댓글수 0 2023. 8. 17.
(KLUE) BERT Pre-Training 이 색깔은 주석이라 무시하셔도 됩니다. 한국어 언어 모델 학습 및 다중 과제 튜닝 BERT Pre-Training BERT 모델 학습 BERT 학습의 단계 Tokenizer 만들기 데이터셋 확보 Next sentence prediction (NSP) Masking 이미 있는 거 쓰지, 왜 새로 학습해야 하는가? 도메인 특화 task의 경우, 도메인 특화된 학습 데이터만 사용하는 것이 성능이 더 좋다! ! 생물학, 생리학 자연어 task에 대해서 기존 BERT를 fine tuning하는 것 보다 생물학, 생리학 데이터로 바닥부터 학습한 모델의 성능이 더 좋음 학습을 위한 데이터 만들기 BERT 입장에서 입력은 input_ids, token_type_ids, positional encoding 형태로 만들어.. 공감수 0 댓글수 0 2023. 8. 16.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.