GPT-2
-
[논문리뷰] Language Models are Unsupervised Multitask Learners(2019, GPT-2)카테고리 없음 2023. 12. 30. 23:08
# 요약 - 질문 답변, 기계 번역, 요약 등의 NLP Task들은 일반적으로 Task Specific Data에 대한 지도학습을 적용함 - Task Specific Training 없이 대량의 Web Text를 통해 Model을 학습하는 방법을 제안 - Zero-shot만으로 다양한 Task에서 우수한 성능을 기록 - Language Model의 용량이 Zero-shot 성능에 유관함을 입증 # 인트로 - 기존 NLP Model 들은 대량의 Task Specific Data를 학습하는 방식으로 개발됨 - 이러한 방식은 데이터의 변화에 민감하며, 특정 Task에만 잘 작동 되는 제약이 있음 - 본 논문에서는 Data labeling이 필요없고, 많은 Task를 수행할 수 있는 일반화된 모델 개발을 추구 ..