쉬엄쉬엄블로그

이 색깔은 주석이라 무시하셔도 됩니다. Tokenization Tokenization What is Tokenization? 신경망의 경우 입력은 항상 ‘숫자’로 입력된다. 사람의 언어를 ‘숫자’로 바꾸려면 크게 2가지 문제를 풀어야 한다. 어떤 단위로 쪼갤 것인가? 어떤 숫자로 바꿀 것인가? Text를 숫자로 변환하려는 시도 Bag of Words 단어가 나타난 횟수를 세어 text를 숫자로 변환 벡터의 차원수는 어휘 개수가 됨 TF-IDF (Term Frequency-Inverse Document Frequency) 단어의 빈도와 역 문서 빈도를 사용하여 DTM내의 각 단어들마다 중요한 정도를 가중치 변환 Word2Vec 단어 벡터 간 유의미한 유사도를 반영할 수 있도록 단어의 의미를 수치화 How ..