fit-rag
-
[논문리뷰] Similarity is Not All You Need: Endowing Retrieval-Augmented Generation with Multi–layered Thoughts(2024)카테고리 없음 2024. 6. 6. 22:59
1. Abstract- 기존의 RAG는 일반적으로 유사성을 쿼리와 관련 문서의 매칭 방법으로 사용- 이 연구에서는 유사성이 '만병통치약'이 아니며 유사성에 의존하면 검색 증강 생성의 성능이 저하됨을 강조- 이를 개선하기 위해 Multi-layered Thoughts를 적용하는 MetRag를 제안- 기존의 유사성 기반 사고(similarity-oriented thought)를 넘어서, LLM의 지도를 통해 효용성 기반 사고(utility-oriented thought)를 활용하는 소규모 효용 모델(small-scale utility model)을 훈련- 유사성 기반 사고와 효용성 기반 사고를 종합적으로 결합하여 Chunk 선택에 적용- 검색된 문서집합을 효율적으로 요약하기 위해 작업 적응형 요약기(task..
-
[논문리뷰] FIT-RAG: Black-Box RAG with Factual Information and Token Reduction(2024)카테고리 없음 2024. 5. 23. 23:12
1. Abstract- LLM을 블랙박스로 취급(LLM의 파라미터를 동결)하는 검색 증강 생성(RAG) 시스템은 많은 주목을 받고 있음- 블랙박스 RAG 방식은 검색된 모든 문서를 LLM에 입력으로 연결하는데, 두 가지 문제가 있음 1) 답변 생성에 도움이 되지 않는 정보가 포함되어 있지 않을 수 있음 2) 단순히 검색된 모든 문서를 연결하면 LLM에 불필요한 토큰이 대량으로 입력되어 낭비가 발생- 본 논문에서는 검색에서 사실 정보를 활용하고 증강 컨텍스트의 토큰 수를 줄이는 FIT-RAG를 제안- FIT-RAG는 사실 정보와 LLM의 선호도를 각각 레이블로 사용하는 이중 레이블 문서 스코어를 구성하여 사실 정보를 활용- Self-knowledge recognizer와 Sub-document-leve..