AI for Everyone AI for Everyone

1. Abstract- 기존의 RAG는 일반적으로 유사성을 쿼리와 관련 문서의 매칭 방법으로 사용- 이 연구에서는 유사성이 '만병통치약'이 아니며 유사성에 의존하면 검색 증강 생성의 성능이 저하됨을 강조- 이를 개선하기 위해 Multi-layered Thoughts를 적용하는 MetRag를 제안- 기존의 유사성 기반 사고(similarity-oriented thought)를 넘어서, LLM의 지도를 통해 효용성 기반 사고(utility-oriented thought)를 활용하는 소규모 효용 모델(small-scale utility model)을 훈련- 유사성 기반 사고와 효용성 기반 사고를 종합적으로 결합하여 Chunk 선택에 적용- 검색된 문서집합을 효율적으로 요약하기 위해 작업 적응형 요약기(task..

1. Abstract- LLM을 블랙박스로 취급(LLM의 파라미터를 동결)하는 검색 증강 생성(RAG) 시스템은 많은 주목을 받고 있음- 블랙박스 RAG 방식은 검색된 모든 문서를 LLM에 입력으로 연결하는데, 두 가지 문제가 있음  1) 답변 생성에 도움이 되지 않는 정보가 포함되어 있지 않을 수 있음  2) 단순히 검색된 모든 문서를 연결하면 LLM에 불필요한 토큰이 대량으로 입력되어 낭비가 발생- 본 논문에서는 검색에서 사실 정보를 활용하고 증강 컨텍스트의 토큰 수를 줄이는 FIT-RAG를 제안- FIT-RAG는 사실 정보와 LLM의 선호도를 각각 레이블로 사용하는 이중 레이블 문서 스코어를 구성하여 사실 정보를 활용- Self-knowledge recognizer와 Sub-document-leve..

1. Abstract- RAG 시스템에 대한 평가는 전통적으로 입력 쿼리, 검색할 구절, 생성할 답변에 대한 수작업 주석이 필요- 본 본문에서는 RAG 시스템을 평가할 수 있는 자동화된 RAG 평가 시스템 ARES를 소개- ARES는 스스로 합성 학습 데이터를 생성하고, 경량의 평가모델을 Fine-tuning하여 RAG 구성 요소의 품질을 평가- ARES는 사람이 주석을 단 작은 데이터 포인트만을 필요로 함- ARES는 도메인 이동과 적용에도 효과적 2. Introduction- RAG 시스템은 Retriever가 질문과 관련된 구절을 찾고 LM이 이 구절을 사용하여 응답을 생성함- 이 프로세스는 Retriever 선택, Chunking 방법, LM의 Fine-tuning 여부 등 다양한 선택지를 포함함..

1. Abstract- Retrieval Augmented Generation (RAG) is widely used to incorporate external knowledge into LLM outputs- Despite the growing use and research on RAG, there is no experimental comparison of different RAG techniques. - This paper presents the results of evaluating major advanced RAG techniques in terms of retrieval precision and answer similarity.- Provides useful reference information..

1. 도입- RAG(검색 증강 생성)는 외부 지식을 LLM 출력에 반영하기 위해 많이 사용됨- RAG의 활용과 연구가 늘고 있지만, 다양한 RAG 테크닉에 대한 실험 비교 연구는 없음- 본 논문은 주요 Advanced RAG 테크닉을 검색 정확도와 답변 유사성으로 평가한 결과를 공개- RAG 적용시 참고할만한 유용한 레퍼런스 정보를 제공 2. 도입- RAG는 외부 지식 소스를 LLM에 통합하여, 환각 제거 및 정보를 반영한 출력 생성 능력을 향상시킴- RAG의 활용과 연구가 늘고 있지만, Advanced RAG의 다양한 기법에 대한 실험 비교 연구는 없음- 본 논문은 다양한 RAG 기법과 그 조합에 평가 정보를 제공하여 실제 적용 가능성에 대한 통찰력을 제공함- Advanced RAG 기법 중 아래의 기..

1. 요약- 기존의 검색 증강 LM 방식은 연속된 짧은 청크만 검색하므로 전체 문서 컨텍스트에 대한 이해가 부족- 청크를 재귀적으로 클러스터링, 요약하여 다양한 추상화 수준의 노드 트리를 구축- RAPTOR는 노드 트리에서 정보를 검색하여 긴 문서의 정보 파악에 유리- RAPTOR는 여러 Task에서 기존의 검색 증강 LM 보다 우수하며, QuALITY 벤치마크의 최고 성능을 20% 향상  2. 도입- LLM을 도메인 질의응답에 활용하기 위해 텍스트를 청크(단락)로 분할 후 색인화 함- 이러한 방식은 짧은 몇 개의 청크만을 검색하기 때문에 전체 맥락의 구조를 이해하는데 한계가 있음. 예를들어 "신데렐라는 어떻게 해피 엔딩에 도달했나요?" 라는 질문에 답하기 어려움- RAPTOR는 트리 구조를 사용하..

1. 요약 - 외부 지식을 LLM에 통합하는 RAG는 다양한 Task에서 활용됨 - 그러나 복잡한 쿼리를 적절히 처리 못하거나, 단순한 쿼리 처리에 불필요한 계산량을 소비하는 문제 발생 - 쿼리의 복잡도에 따라 가장 적합한 전략을 동적으로 선택할 수 있는 적응형 QA 프레임워크 Adaptive-RAG를 제안 - Adaptive-RAG는 쿼리 처리 전에 분류 모델을 통해 쿼리의 복잡도 수준을 판별 - 판별된 쿼리 복잡도에 따라 비 검색, 단일 단계 검색, 복잡한 처리 등을 수행 2. 도입 - 매개변수화된 지식에만 의존하는 LLM의 한계를 개선하기 위해 검색 증강 LLM이 많이 사용됨 - 검색 증강 LLM은 사용자 쿼리, 특히 복잡도가 높은 쿼리에 대해 답을 제공하는 Task에 많이 사용됨 - 복잡도가 높은..

1. 요약 - 검색 증강 생성(RAG)은 LLM의 할루시네이션을 보완할 수 있지만 검색된 문서에 크게 의존 - RAG의 답변 품질을 개선하기 위해 수정 검색 증강 생성(CRAG)을 제안 - Retrieval evaluator를 통해 쿼리에 대해 검색된 문서의 전반적인 품질을 평가 - 검색된 문서의 정보가 불충분한 경우, 대규모 웹 검색을 통해 검색 결과를 보강 - 검색된 문서가 핵심 정보에 선택적으로 집중하고 관련 없는 정보를 걸러낼 수 있도록 분해 후 재구성 - CRAG는 플러그 앤 플레이 방식으로 다양한 RAG에 쉽게 결합 가능 - 다양한 데이터 세트에 대한 실험 결과, CRAG가 기존 RAG 대비 성능이 우수함 2. 인트로 - 검색 증강 생성(RAG)은 LLM의 할루시네이션을 보완할 수 있지만 검색..