[논문리뷰] The Natural Language Decathlon:Multitask Learning as Question Answering(2018)

# 요약

- 단일 메트릭, 데이터 세트 및 특정한 Task에 집중된 패러다임에서는 NLP가 발전하기 어려움
- 질문 답변, 기계 번역, 요약 등의 10가지 Task가 있는 NLP 10종 경기(decaNLP)를 제안
- 10종의 모든 Taks를 공동으로 학습하는 Multitask 질문 답변 네트워크(MQAN)를 제시
- MQAN은 기계 번역, 감정 분석 등 다양한 Task에서 우수한 성능을 나타냄

 

# 인트로

- 다양한 종류의 NLP 작업에 일반화할 수 있는 모델을 개발하기 위해 자연어 10종 경기(decaNLP) 제안

- decaNLP는 모두 QA형태로 구성됨. ex) 이 문장이 긍정적인가? 예를 들어, 문장의 긍 부정을 평가하는 NLP task는 Question : 이 문장이 긍정적인가? 와 같은 질문을 통해서 Answer을 얻어내는 방식으로 만들었습니다

decaNLP Examples

 

# Tasks and Metrics

- 10개의 Task로 종합 평가 하며, 각 Task는 0~100점을 부여하므로 총점은 1,000점임

decaNLP Tasks

 

# Multitask Question Answering Network (MQAN)

- Training시 l개의 토큰이 있는 Context와, m개의 토큰이 있는 Question, n개의 토큰이 있는 Answer 세 가지를 입력으로 받음

- 입력된 Vector는 Alignment -> Coattention -> Self-Attention을 거쳐 새로운 Context vector와 Question vector를 생성함

- Decoder는 Answer를 d차원의 벡터로 embedding 후 Self-Attention Layer -> MultiHead Attention -> FFN으로 연결

- Intermediate Decoder State: Recurrent Context를 얻기 위해 LSTM with Attention 적용

- Question/Context Attention: Attention weight를 통해 decoder가 time step t와 관련된 인코딩 정보에 집중하게 함

- Recurrent Context State: Context vector는 FNN를 통해 Recurrent Context State를 생성

- Multi-Pointer-Generator: Context, Question, External vocabulary의 token 분포를 얻고 최종 토큰 분포를 생성하여 Context나 Question에 없는 Token 생성을 가능하게 함

MQAN Architecure

 

 

- Multitask training 시 쉬운 task -> 어려운 task 로 학습하는 방법(curriculum task)와 랜덤하게 학습시키는 방법(anti-curriculum task)을 비교한 결과 anti-curriculum이 더 성능이 좋음

 

# 결과

 

# 결론

- 새로운 벤치마크인 10종 경기(decaNLP)를 제안

- Multi-Pointer-Generator를 사용하는 질문 답변 모델인 MQAN을 제안

- MQAN의 다양한 Task에 대한 전이학습과 Zero-shot 능력을 입증

 

 

# 참고한 자료

https://arxiv.org/abs/1806.08730

https://speakerdeck.com/scatterlab/the-natural-language-decathlon-multitask-learning-as-question-answeringhttps://blog.naver.com/mewmew16/223159788855