LangChain
-
[논문리뷰] RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval(2024)카테고리 없음 2024. 4. 17. 22:51
1. 요약- 기존의 검색 증강 LM 방식은 연속된 짧은 청크만 검색하므로 전체 문서 컨텍스트에 대한 이해가 부족- 청크를 재귀적으로 클러스터링, 요약하여 다양한 추상화 수준의 노드 트리를 구축- RAPTOR는 노드 트리에서 정보를 검색하여 긴 문서의 정보 파악에 유리- RAPTOR는 여러 Task에서 기존의 검색 증강 LM 보다 우수하며, QuALITY 벤치마크의 최고 성능을 20% 향상 2. 도입- LLM을 도메인 질의응답에 활용하기 위해 텍스트를 청크(단락)로 분할 후 색인화 함- 이러한 방식은 짧은 몇 개의 청크만을 검색하기 때문에 전체 맥락의 구조를 이해하는데 한계가 있음. 예를들어 "신데렐라는 어떻게 해피 엔딩에 도달했나요?" 라는 질문에 답하기 어려움- RAPTOR는 트리 구조를 사용하..
-
[논문리뷰] Adaptive-RAG: Learning to Adapt Retrieval-AugmentedLarge Language Models through Question Complexity카테고리 없음 2024. 4. 12. 23:21
1. 요약 - 외부 지식을 LLM에 통합하는 RAG는 다양한 Task에서 활용됨 - 그러나 복잡한 쿼리를 적절히 처리 못하거나, 단순한 쿼리 처리에 불필요한 계산량을 소비하는 문제 발생 - 쿼리의 복잡도에 따라 가장 적합한 전략을 동적으로 선택할 수 있는 적응형 QA 프레임워크 Adaptive-RAG를 제안 - Adaptive-RAG는 쿼리 처리 전에 분류 모델을 통해 쿼리의 복잡도 수준을 판별 - 판별된 쿼리 복잡도에 따라 비 검색, 단일 단계 검색, 복잡한 처리 등을 수행 2. 도입 - 매개변수화된 지식에만 의존하는 LLM의 한계를 개선하기 위해 검색 증강 LLM이 많이 사용됨 - 검색 증강 LLM은 사용자 쿼리, 특히 복잡도가 높은 쿼리에 대해 답을 제공하는 Task에 많이 사용됨 - 복잡도가 높은..
-
[논문리뷰] RAFT: Adapting Language Model to Domain Specific RAG(2024)카테고리 없음 2024. 4. 10. 11:56
1. 요약 - LLM의 Domain Adoptation을 위해 RAG 또는 Fine-tunining을 사용하는 것이 일반적임 - 그러나 RAG와 Fine-tunining을 Domain에 최적화 하기 위한 일반화된 방법이 없음 - "Open-Book" 환경에서 Domain Specific한 질문에 답하는 능력을 향상시키는 RAFT(Retrieval Aware Fine-tuning)를 제안 - RAFT는 질문과 검색된 문서가 주어졌을때 도움이 되지 않는 문서를 무시하고, 관련성 높은 문서를 잘 참고하도록 모델을 훈련 - 또한 COT(Chain of Thought)를 적용하여 모델의 추론 능력을 향상 - PubMed, HotpotQA 및 Gorilla 데이터 세트에서 평가 결과, 우수한 성능을 나타냄 2. 도..
-
[논문리뷰] Retrieval Augmented Generation for Knowledge Intensive NLP Tasks(2020)카테고리 없음 2024. 3. 27. 13:33
# 요약 Large pre-trained model은 사실적 지식을 매개변수에 저장하고, 다운스트림 NLP 작업에서 미세 조정할 때 SOTA의 성능을 냄. 그러나 지식에 접근하고 정확하게 다루는데는 여전히 한계가 있음. 또한 결과에 대한 출처를 제공하고 지식을 업데이트하는 것도 한계가 있음. 본 논문에서는 Language model의 parametric memory에 non-parametric memory를 결합한 RAG(Retrival-augmented generation)을 제안함. Parametric memory는 pre-trained seq2seq 모델을 사용하고, non-parametric memory로 pre-trained neural retriever로 위키피디아의 dense vector를 ..
-
[LlamaIndex] LlamaIndex는 무엇인가요?카테고리 없음 2024. 1. 15. 22:35
○ What is LlamaIndex? LlamaIndex는 LLM 기반 애플리케이션 개발을 지원하는 데이터 프레임워크 입니다. 다양한 데이터 소스를 LLM과 통합할 수 있도록 지원합니다. 다양한 데이터 소스라 함은 PDF, PowerPoint와 같은 다양한 파일 형식은 물론 Notion 및 Slack과 같은 애플리케이션, 심지어 Postgres 및 MongoDB와 같은 데이터베이스도 포함합니다. LlamaIndex는 데이터 수집 및 처리를 지원하는 다양한 커넥터를 제공하여 LLM과의 원활한 연동이 가능하게 합니다. 또한 LlamaIndex는 효율적인 데이터 검색 및 쿼리 인터페이스를 갖추고 있습니다. 이 기능들을 통해 개발자는 RAG(Retrieval Augmented Generation, 검색증강생성..