ARES
-
[논문리뷰] ARES: An Automated Evaluation Framework for RAG System(2024)카테고리 없음 2024. 5. 9. 11:54
1. Abstract- RAG 시스템에 대한 평가는 전통적으로 입력 쿼리, 검색할 구절, 생성할 답변에 대한 수작업 주석이 필요- 본 본문에서는 RAG 시스템을 평가할 수 있는 자동화된 RAG 평가 시스템 ARES를 소개- ARES는 스스로 합성 학습 데이터를 생성하고, 경량의 평가모델을 Fine-tuning하여 RAG 구성 요소의 품질을 평가- ARES는 사람이 주석을 단 작은 데이터 포인트만을 필요로 함- ARES는 도메인 이동과 적용에도 효과적 2. Introduction- RAG 시스템은 Retriever가 질문과 관련된 구절을 찾고 LM이 이 구절을 사용하여 응답을 생성함- 이 프로세스는 Retriever 선택, Chunking 방법, LM의 Fine-tuning 여부 등 다양한 선택지를 포함함..