AI for Everyone AI for Everyone

1. Abstract- 기존의 RAG는 일반적으로 유사성을 쿼리와 관련 문서의 매칭 방법으로 사용- 이 연구에서는 유사성이 '만병통치약'이 아니며 유사성에 의존하면 검색 증강 생성의 성능이 저하됨을 강조- 이를 개선하기 위해 Multi-layered Thoughts를 적용하는 MetRag를 제안- 기존의 유사성 기반 사고(similarity-oriented thought)를 넘어서, LLM의 지도를 통해 효용성 기반 사고(utility-oriented thought)를 활용하는 소규모 효용 모델(small-scale utility model)을 훈련- 유사성 기반 사고와 효용성 기반 사고를 종합적으로 결합하여 Chunk 선택에 적용- 검색된 문서집합을 효율적으로 요약하기 위해 작업 적응형 요약기(task..

1. Abstract- LLM을 블랙박스로 취급(LLM의 파라미터를 동결)하는 검색 증강 생성(RAG) 시스템은 많은 주목을 받고 있음- 블랙박스 RAG 방식은 검색된 모든 문서를 LLM에 입력으로 연결하는데, 두 가지 문제가 있음  1) 답변 생성에 도움이 되지 않는 정보가 포함되어 있지 않을 수 있음  2) 단순히 검색된 모든 문서를 연결하면 LLM에 불필요한 토큰이 대량으로 입력되어 낭비가 발생- 본 논문에서는 검색에서 사실 정보를 활용하고 증강 컨텍스트의 토큰 수를 줄이는 FIT-RAG를 제안- FIT-RAG는 사실 정보와 LLM의 선호도를 각각 레이블로 사용하는 이중 레이블 문서 스코어를 구성하여 사실 정보를 활용- Self-knowledge recognizer와 Sub-document-leve..

1. Abstract- RAG 시스템에 대한 평가는 전통적으로 입력 쿼리, 검색할 구절, 생성할 답변에 대한 수작업 주석이 필요- 본 본문에서는 RAG 시스템을 평가할 수 있는 자동화된 RAG 평가 시스템 ARES를 소개- ARES는 스스로 합성 학습 데이터를 생성하고, 경량의 평가모델을 Fine-tuning하여 RAG 구성 요소의 품질을 평가- ARES는 사람이 주석을 단 작은 데이터 포인트만을 필요로 함- ARES는 도메인 이동과 적용에도 효과적 2. Introduction- RAG 시스템은 Retriever가 질문과 관련된 구절을 찾고 LM이 이 구절을 사용하여 응답을 생성함- 이 프로세스는 Retriever 선택, Chunking 방법, LM의 Fine-tuning 여부 등 다양한 선택지를 포함함..

1. Abstract- Retrieval Augmented Generation (RAG) is widely used to incorporate external knowledge into LLM outputs- Despite the growing use and research on RAG, there is no experimental comparison of different RAG techniques. - This paper presents the results of evaluating major advanced RAG techniques in terms of retrieval precision and answer similarity.- Provides useful reference information..

1. 도입- RAG(검색 증강 생성)는 외부 지식을 LLM 출력에 반영하기 위해 많이 사용됨- RAG의 활용과 연구가 늘고 있지만, 다양한 RAG 테크닉에 대한 실험 비교 연구는 없음- 본 논문은 주요 Advanced RAG 테크닉을 검색 정확도와 답변 유사성으로 평가한 결과를 공개- RAG 적용시 참고할만한 유용한 레퍼런스 정보를 제공 2. 도입- RAG는 외부 지식 소스를 LLM에 통합하여, 환각 제거 및 정보를 반영한 출력 생성 능력을 향상시킴- RAG의 활용과 연구가 늘고 있지만, Advanced RAG의 다양한 기법에 대한 실험 비교 연구는 없음- 본 논문은 다양한 RAG 기법과 그 조합에 평가 정보를 제공하여 실제 적용 가능성에 대한 통찰력을 제공함- Advanced RAG 기법 중 아래의 기..