RAGpaper
-
ARAGOG: Advanced RAG Output Grading(2024)카테고리 없음 2024. 4. 30. 07:39
1. Abstract- Retrieval Augmented Generation (RAG) is widely used to incorporate external knowledge into LLM outputs- Despite the growing use and research on RAG, there is no experimental comparison of different RAG techniques. - This paper presents the results of evaluating major advanced RAG techniques in terms of retrieval precision and answer similarity.- Provides useful reference information..
-
[논문리뷰] RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval(2024)카테고리 없음 2024. 4. 17. 22:51
1. 요약- 기존의 검색 증강 LM 방식은 연속된 짧은 청크만 검색하므로 전체 문서 컨텍스트에 대한 이해가 부족- 청크를 재귀적으로 클러스터링, 요약하여 다양한 추상화 수준의 노드 트리를 구축- RAPTOR는 노드 트리에서 정보를 검색하여 긴 문서의 정보 파악에 유리- RAPTOR는 여러 Task에서 기존의 검색 증강 LM 보다 우수하며, QuALITY 벤치마크의 최고 성능을 20% 향상 2. 도입- LLM을 도메인 질의응답에 활용하기 위해 텍스트를 청크(단락)로 분할 후 색인화 함- 이러한 방식은 짧은 몇 개의 청크만을 검색하기 때문에 전체 맥락의 구조를 이해하는데 한계가 있음. 예를들어 "신데렐라는 어떻게 해피 엔딩에 도달했나요?" 라는 질문에 답하기 어려움- RAPTOR는 트리 구조를 사용하..
-
[논문리뷰] Adaptive-RAG: Learning to Adapt Retrieval-AugmentedLarge Language Models through Question Complexity카테고리 없음 2024. 4. 12. 23:21
1. 요약 - 외부 지식을 LLM에 통합하는 RAG는 다양한 Task에서 활용됨 - 그러나 복잡한 쿼리를 적절히 처리 못하거나, 단순한 쿼리 처리에 불필요한 계산량을 소비하는 문제 발생 - 쿼리의 복잡도에 따라 가장 적합한 전략을 동적으로 선택할 수 있는 적응형 QA 프레임워크 Adaptive-RAG를 제안 - Adaptive-RAG는 쿼리 처리 전에 분류 모델을 통해 쿼리의 복잡도 수준을 판별 - 판별된 쿼리 복잡도에 따라 비 검색, 단일 단계 검색, 복잡한 처리 등을 수행 2. 도입 - 매개변수화된 지식에만 의존하는 LLM의 한계를 개선하기 위해 검색 증강 LLM이 많이 사용됨 - 검색 증강 LLM은 사용자 쿼리, 특히 복잡도가 높은 쿼리에 대해 답을 제공하는 Task에 많이 사용됨 - 복잡도가 높은..