RNNsearch
-
[논문리뷰]Neural Machine Translation by Jointly Learning To Align And Translate(Attention, 2014)카테고리 없음 2023. 11. 4. 11:44
# 요약 기존 신경망 기계 번역 모델은 Encoder-Decoder로 구성되고, 입력 문장을 고정 길이의 벡터로 인코딩 함. 이 논문에서는 모델이 예측 하고자 하는 단어와 밀접하게 관련된 입력 문장의 일부를 자동으로 검색할 수 있도록 하는 방법을 제안. # 인트로 기존 Encoder-Decoder기반 RNN 모델은 신경망이 입력 문장의 모든 정보를 고정 길이 벡터로 압축함. 이것은 입력 문장의 길이가 길어질수록 성능이 급격히 하락하는 원인이 됨. 제안된 모델은 decoder에서 단어를 생성할 때마다 입력 문장을 순차적으로 탐색하여 가장 관련성이 높은 영역을 적용시킴. encoder에서 생성된 hidden state 중 관련성이 높은 영역과 decoder 에서 생성한 context vector를 기반으로 ..