Vector Store - 벡터 저장소
Vector Store
Vector Store는 전 단계에서 생성된 임베딩 벡터들을 효율적으로 저장하고 검색할 수 있는 데이터베이스/시스템을 의미합니다.
자연어 처리(NLP), 이미지 처리, 그리고 기타 다양한 머신러닝 응용 분야에서 생성된 고차원 벡터 데이터를 관리하기 위해 설계되었습니다.
Vector Store에 저장된 벡터들은 Retriever에 의해 빠르게 조회되고, 관련 문서를 찾아내는 데 사용됩니다.
Vector Store 주요 개념
1. 벡터 임베딩 (Vector Embedding)
텍스트, 이미지, 오디오 등의 데이터를 고차원 벡터로 변환하는 과정
같은 의미의 데이터는 벡터 공간에서 가까운 위치에 존재하도록 학습됨
2. 유사도 검색 (Similarity Search)
새로운 쿼리(Query) 입력 시, 가장 유사한 벡터를 찾음
보통 코사인 유사도(Cosine Similarity) 또는 L2 거리(Euclidean Distance) 사용
3. 인덱싱 (Indexing)
대량의 벡터 데이터를 빠르게 검색할 수 있도록 효율적인 구조로 저장
대표적인 인덱싱 방법: FAISS, HNSW, Annoy
Vector Store 실습
LangChain VectorDB 종류 https://python.langchain.com/docs/integrations/vectorstores/
1 ) Chroma
LangChain과 통합된 오픈소스 Vector Store로 간단하게 벡터를 저장 및 관리할 수 있다.
생성된 저장소는 검색기로 변환하여 사용될 수도 있다.
2) FAISS (Facebook AI Similarity Search)
Facebook에서 개발한 오픈소스 Vector Store로 효율적인 유사도 검색과 벡터 클러스터링을 지원한다.
FAISS로 생성한 벡터 저장소 끼리는 병합(merge_from)이 가능하며, FAISS의 인덱스와 문서 정보를 로컬상에 저장(save_local),하거나 로컬상의 db를 불러오는 (load_loacal)함수도 지원한다.
3) Pinecone
Pinecone은 고성능 벡터 데이터베이스로, AI 및 머신러닝 애플리케이션을 위한 효율적인 벡터 저장 및 검색 솔루션이다.
클라우드 기반 데이터베이스이기 때문에 확장성이 뛰어나기 때문에 대규로 프로덕션 환경에서 유용하다.
Chroma/FAISS에 비해 높은 비용이 발생한다.
Last updated