쉬엄쉬엄블로그

이 색깔은 주석이라 무시하셔도 됩니다. 관계 추출 과제의 이해 개체명 인식 & 관계 추출의 이해 관계 추출 관련 과제의 이해 개체명(Entity) 인식 NER, Named Entity Recognition 개체명이란 인명, 지명, 기관명 등과 같은 고유명사나 명사구를 의미 개체명 인식 태스크는 문장을 분석 대상으로 삼아서 문장에 출현한 개체명의 경계를 인식하고, 각 개체명에 해당하는 태그를 주석함 KLUE에서는 국제적인 기준에서 가장 널리 알려진 CoNLL 2003의 태그 체계 및 Stanford NER을 바탕으로 국내 TTA 표준 지침의 주석 가이드라인에 따라 데이터를 구축함 PS(사람), LC(지역), OG(기관), DT(날짜), TI(시간), QT(수량) 자연어처리를 한다는 것은 언어에 대한 이해가..

이 색깔은 주석이라 무시하셔도 됩니다. 자연어처리 데이터 소개 1 국내 언어 데이터의 구축 프로젝트 21세기 세종 계획과 모두의 말뭉치 21세기 세종 계획 ‘21세기 세종계획’은 1997년에 그 계획이 수립되었고 이듬해인 1998년부터 2007년까지 10년 동안 시행된 한국의 국어 정보화 중장기 발전 계획(홍윤표, 2009) 총 2억 어절의 자료 구축, 공개 XML 형식, 언어정보나눔터 누리집을 통해 배포하다 중단 후 DVD로만 배포 모두의 말뭉치 인공지능의 한국어 처리 능력 향상에 필수적인 한국어 학습 자료 공개 플랫폼 ‘21세기 세종계획’에 비해 일상 대화, 메신저, 웹 문서 등 구어체 자료의 비중을 높임 다층위 주석 말뭉치 포함(형태, 구문, 어휘 의미, 의미역, 개체명, 상호 참조 등) JSON ..

이 색깔은 주석이라 무시하셔도 됩니다. 한국어 언어 모델 학습 및 다중 과제 튜닝 BERT 언어모델 기반의 단일 문장 분류 KLUE 데이터셋 한국어 자연어 이해 벤치마크(Korean Langauge Understanding Evaluation, KLUE) 자연어 task 유형 문장 분류, 관계 추출 → 단일 문장 분류 task (5강) 문장 유사도 → 문장 임베딩 벡터의 유사도 (e.g. [CLS]) 자연어 추론 → 두 문장 관계 분류 task (6강) 개체명 인식, 품사 태깅, 질의 응답 → 문장 토큰 분류 task (7강) 목적형 대화 → 김성동님, DST 강의 의존 구문 분석 의존 구문 분석 단어들 사이의 관계를 분석하는 task 특징 지배소 : 의미의 중심이 되는 요소 의존소 : 지배소가 갖는 의..