728x90
반응형
딥 러닝을 이용한 자연어 처리 입문
간단한 Vector Space Model 설명
Vector Space Model Vector Space Model 또는 Term Vector Model은 문서 혹은 단어를 Vector 형태로 나타내는 것이며 텍스트 문서를 단어 색인등의 식별자로 구성된 벡터로 표현하는 대수적 모델이다. 정보검색,..
yumere.tistory.com
01) 토큰화(Tokenization)
자연어 처리에서 크롤링 등으로 얻어낸 코퍼스 데이터가 필요에 맞게 전처리되지 않은 상태라면, 해당 데이터를 사용하고자하는 용도에 맞게 토큰화(tokenization) & 정 ...
wikidocs.net
728x90
반응형
'Deep Learning' 카테고리의 다른 글
| Stemming VS Lemmatization (0) | 2022.02.26 |
|---|---|
| 다양한 신경망 - MNIST 분류 CNN 모델 (0) | 2021.11.18 |