Haystack 기반 RAG 시스템 구축 시작하기

정보 검색 기반 생성(RAG)은 대형 언어 모델(LLM)의 활용 방식을 혁신하고 있습니다. 그러나 이러한 시스템을 구축하는 것은 복잡할 수 있습니다. 이 기사에서는 Haystack을 사용하여 RAG 시스템을 구축하는 방법을 배웁니다.


소개

최근 몇 달 동안 대형 언어 모델(LLM)은 화제의 중심에 있었으며, 매일 여러 LLM이 구축되고 배포되고 있습니다. 이러한 모델은 방대한 데이터로 구축되어 인간과 유사한 텍스트를 이해하고 생성하는 놀라운 능력을 지니고 있어 다양한 작업과 복잡한 의사 결정에 매우 유용합니다.

LLM은 원활한 번역으로 언어 장벽을 허물거나 기업이 개인화된 고객 지원을 신속하게 제공하도록 도와주는 등 이전에는 어려웠던 과제를 해결했습니다. 편의성을 넘어, LLM은 10년 전에는 상상하기 어려웠던 방식으로 혁신의 문을 열었습니다.

그러나 LLM은 모든 것을 아는 존재가 아닙니다. 그들의 지식은 훈련 시 사용된 방대한 텍스트 데이터에서 비롯되지만, 그 데이터는 범위와 최신성에서 한계가 있습니다. 오늘날의 최신 뉴스를 포함하지 않고 백과사전을 채우려 한다고 상상해 보세요. 자연스럽게 공백이 생겨 맹점이 생기고, LLM은 의미 있는 답변을 제공하는 데 어려움을 겪을 것입니다.

이러한 공백은 특히 최신 사건, 매우 특정한 분야의 전문 지식 또는 LLM의 데이터셋 외부의 경험에 의존하는 질문을 할 때 두드러집니다. 예를 들어, ChatGPT는 2023년 이후의 AI 최신 발전에 대한 질문에 어려움을 겪을 수 있습니다. 이는 모델이 인간적인 의미에서 ‘무지’해서가 아니라, 최신 책을 읽지 않았거나 드문 주제를 공부하지 않은 사람에게 질문하는 것과 같기 때문입니다. 그들은 단순히 그 정보를 가지고 있지 않습니다.

이 문제를 해결하려면 LLM은 최신 훈련과 연결된 데이터베이스나 검색 기능과 같은 보조 소스가 필요합니다. 이로 인해 정보 검색과 생성 모델의 창의력을 결합한 정보 검색 기반 생성(RAG)이 등장했습니다. RAG는 사전 훈련된 언어 모델과 검색 시스템의 힘을 결합하여 더 정확하고 상황에 맞는 답변을 제공합니다.

LLM을 사용하여 특정 주제에 대한 세부 정보를 찾고자 하지만, 모델이 최신 지식을 모두 가지고 있지 않다고 가정해 보세요. RAG는 사전 훈련된 지식에만 의존하는 대신, 외부 데이터베이스나 문서에서 관련 정보를 검색한 다음 이를 사용하여 잘-informed되고 일관된 응답을 생성합니다. 이러한 검색과 생성의 조합은 응답이 창의적일 뿐만 아니라 실시간 데이터나 특정 소스에 기반을 두도록 보장합니다.

RAG의 더 흥미로운 점은 실시간으로 적응할 수 있는 잠재력을 지니고 있다는 것입니다. 정적 지식으로 작업하는 대신, 신뢰할 수 있는 소스에서 작업에 필요한 최신 정보나 특정 정보를 가져와 환각 가능성을 줄일 수 있습니다.

RAG에는 검색, 증강, 생성의 세 가지 중요한 단계가 있습니다. 하나씩 살펴보겠습니다.

검색 과정

첫 번째 단계는 검색에 착수하는 것입니다. 방대한 도서관에서 답을 찾고 있다고 상상해 보세요. 결론을 내리기 전에 먼저 올바른 책을 모아야 합니다. RAG에서는 대규모 데이터베이스나 지식 베이스를 쿼리하여 관련 정보를 가져옵니다. 이러한 정보는 문서, 기사 또는 질문이나 작업에 대한 통찰력을 제공할 수 있는 기타 데이터일 수 있습니다. 여기서의 목표는 다음 단계의 탄탄한 기초를 구축하는 데 도움이 될 가장 관련성 높은 정보를 검색하는 것입니다.

증강 과정

관련 정보를 얻은 후에는 이를 향상시킬 차례입니다. 이는 검색된 데이터를 정제하거나, 재구성하거나, 여러 소스를 결합하여 더 포괄적이고 상세한 답변을 만드는 것을 의미합니다. 검색된 데이터는 자체적으로 항상 완벽하지 않으므로 실제로 유용하려면 약간의 조정이나 추가 컨텍스트가 필요할 수 있습니다. 증강 과정에는 관련 없는 정보를 필터링하거나, 사실을 병합하거나, 데이터를 더 쉽게 이해할 수 있도록 재구성하는 것이 포함될 수 있습니다. 이 단계에서 원시 정보를 더 의미 있는 것으로 형성하기 시작합니다.

생성 과정

이제 향상된 데이터를 얻었으므로 최종 출력을 생성할 차례입니다. 증강된 정보를 통해 언어 모델(GPT와 같은)을 사용하여 쿼리에 직접 답하거나 문제를 해결하는 응답이나 출력을 생성합니다. 이 단계는 답변이 일관되고, 인간과 유사하며, 관련성이 있도록 보장합니다.

이 기사에서는 Haystack이라는 매우 인기 있는 도구를 사용하여 RAG 시스템을 구축하는 방법을 실습해 보겠습니다.

https://haystack.deepset.ai/overview/intro

Haystack이란 무엇인가요?

Haystack은 Deepset AI에서 개발한 오픈 소스 프레임워크로, 대규모 언어 모델(LLM)과 함께 사용되어 정보 검색 기반 생성(RAG) 애플리케이션을 구축하는 데 사용됩니다. 이를 통해 자연어 쿼리에 대해 문서를 검색하거나 요약, 질문 응답, 대화형 AI 시스템을 개발할 수 있습니다.

Haystack의 주요 기능
1. 유연성: 다양한 검색 백엔드와 언어 모델을 지원합니다.
2. 사용 용이성: 직관적인 API와 문서를 제공하며, 빠른 프로토타이핑이 가능합니다.
3. 확장 가능성: 대규모 데이터베이스 및 고성능 환경에 적합합니다.
4. 오픈 소스: 무료로 사용 가능하며, 커뮤니티의 기여를 받을 수 있습니다.

실습: Haystack으로 RAG 시스템 구축

이제 Haystack을 사용해 간단한 RAG 시스템을 구축하는 과정을 설명합니다.

1단계: 설치

Haystack은 Python으로 작성되었으며, 아래 명령어를 사용해 설치할 수 있습니다.

pip install farm-haystack

이 외에도 특정 기능을 사용하려면 추가 패키지가 필요할 수 있습니다. 예를 들어, Elasticsearch 백엔드를 사용하려면 elasticsearch 패키지를 설치해야 합니다.

2단계: 데이터 준비

RAG 시스템은 데이터를 기반으로 작동합니다. Haystack에서는 문서를 dict 형식으로 처리합니다. 예시는 다음과 같습니다:

from haystack.utils import convert_files_to_docs, clean_wiki_text

# 문서 데이터를 로드합니다

docs = convert_files_to_docs(dir_path="data/")

데이터를 정리하고 필요한 형식으로 변환하여 저장합니다.

3단계: 파이프라인 설정

RAG 시스템은 검색, 증강, 생성을 수행하는 파이프라인으로 구성됩니다. 이를 설정하려면 아래 코드를 사용합니다.

from haystack.pipelines import ExtractiveQAPipeline
from haystack.nodes import FARMReader, ElasticsearchRetriever
from haystack.document_stores import ElasticsearchDocumentStore

# Elasticsearch Document Store 설정
document_store = ElasticsearchDocumentStore(host="localhost", index="document")

# Retriever 및 Reader 설정
retriever = ElasticsearchRetriever(document_store=document_store)
reader = FARMReader(model_name_or_path="deepset/roberta-base-squad2")

# 파이프라인 구축
pipeline = ExtractiveQAPipeline(reader=reader, retriever=retriever)

이 파이프라인은 사용자가 질문을 입력하면, 관련 문서를 검색하고 해당 내용을 기반으로 답변을 생성합니다.

4단계: 질문 응답 수행

구축한 파이프라인을 사용해 질문 응답을 수행합니다.

# 질문에 답변 생성
query = "Haystack이란 무엇인가요?"
result = pipeline.run(query=query, params={"Retriever": {"top_k": 10}, "Reader": {"top_k": 5}})

# 결과 출력
print(result)

결론

Haystack을 사용하여 RAG 시스템을 구축하면 정보 검색 및 생성 작업을 더 효율적이고 정확하게 수행할 수 있습니다. 이 도구는 LLM과 검색 시스템을 통합하여 더욱 강력한 솔루션을 제공합니다. 이 글의 코드를 실행하며 학습을 진행하고, 자신만의 RAG 애플리케이션을 만들어 보세요!

위의 내용을 바탕으로 추가적인 질문이 있거나 코드를 실행하며 도움이 필요하면 말씀해주세요.