Word2Vec
-
[논문리뷰] Efficient Estimation of Word Representations in Vector Space(word2vec, 2013)카테고리 없음 2023. 10. 8. 00:33
#요약 대규모 데이터 세트에서 단어의 벡터를 계산하기 위한 두 가지 아키텍처를 제안. 제안한 방법은 단어의 의미론적 유사성 측정 테스트에서 기존 방법 대비 낮은 계산 비용으로도 성능이 크게 향상. #도입 현재 자연어 처리 시스템은 단어 간의 유사도라는 개념이 없었음. 최근 머신러닝 기술이 발전하면서 훨씬 더 큰 데이터 세트에서 더 복잡한 모델을 훈련할 수 있게 되었으며, 단어를 벡터로 표현하는 것은 기존 N-그램 등의 단순한 모델보다 성능이 훨씬 뛰어남. 최근 신경망으로 단어를 벡터화 하는 아케텍처가 연구 되었으나, 훈련시 많은 계산 비용이 드는 문제가 있음. # 제안 Feedforward Neural Net Language Model (NNLM), Recurrent Neural Net Language ..