IVF vs HNSW
92
11 asked
안녕하세요 강의 잘 듣고 있습니다.
IVF와 HNSW 중 실무에서 더 자주 사용되는 알고리즘은 무엇인가요? 각각의 장단점이 궁금합니다!
감사합니다.
Answer 1
1
안녕하세요 도현님. 좋은 질문 감사드립니다.
일반적인 RAG 시스템을 만들때는 기본적으로 HNSW를 인덱스로 선택하는 경우가 많습니다. 실제로 여러 벡터 DB와 검색 엔진에서 HNSW를 기본 인덱스로 제공하고 있습니다.
HNSW의 장점은 보통 동일한 Recall(실제로 유사한 벡터들 중 얼마나 많이 찾아내는지)을 목표로 할 때 IVF보다 빠르게 검색할 수 있다는 것입니다. 그래프를 따라 가까운 벡터가 있을 가능성이 높은 영역을 탐색하기 때문에 클러스터 경계로 인한 누락 문제도 상대적으로 적습니다. 다만 벡터뿐만 아니라 각 벡터의 이웃을 나타내는 그래프 연결 정보도 저장해야해서 인덱스의 메모리 오버헤드가 크다는 단점이 있습니다. 신규 데이터를 삽입할 때도 가까운 노드를 탐색하고 그래프의 연결 관계를 구성해야 해서 일반적으로 IVF보다 삽입 비용이 큽니다.
그래서 데이터 규모가 커져서 메모리 비용이나 데이터 삽입 비용이 중요해지면 IVF를 고려하게됩니다. IVF는 인덱스 구조의 메모리 오버헤드가 비교적 작고, 신규 벡터를 가까운 클러스터에 추가하는 방식이어서 일반적으로 삽입 비용도 HNSW보다 작습니다. 다만 IVF는 인덱스를 만들기 전에 데이터의 분포를 바탕으로 클러스터 중심점을 학습하는 과정이 필요하고, 데이터 분포가 크게 달라지면 클러스터 중심점을 다시 학습하고 인덱스를 재구성해야 할 수도 있다는 단점이 있습니다.
참고로 실무에서는 데이터가 수백만~수천만 개 이상으로 늘어나서 메모리 비용이 더욱 중요해지면, 벡터를 압축하는 PQ를 IVF나 HNSW와 함께 사용하거나 대규모 인덱스의 주요 데이터를 SSD에 저장하도록 설계된 DiskANN 같은 방식도 고려합니다.
강의에서는 인덱스 구성에 관한 기본적인 내용만 다루었는데요. 실제 인덱스를 선택할 때는 위에서 언급한 메모리 사용량 같이 고려해야 할 점이 많습니다. 그래서 사용하려는 벡터 DB의 공식 문서를 읽고, 가능하다면 실제 데이터와 쿼리 패턴으로 테스트한 뒤에 인덱스를 선택하는 것이 가장 좋은 방법 같습니다. 한 가지 예시로 Milvus의 인덱스 선택 가이드가 잘 정리되어 있어서 참고해 보시면 좋을 것 같습니다!
감사합니다.
4.1 hermes-live 윈도우에서는 동작하지 않습니다.
0
14
0
[섹션 6.3]bluekiwi install 오류
0
16
0
진도율 확인 요청
0
18
0
command goto
0
22
1
강의 업로드 일정
0
24
1
질문은 아니고, 다른 분을 위해 남겨요!
0
20
1
실습에서 쓰이는 파일은 어디 있나요?
0
24
1
강사님이 즐겨 쓰시는 플러그인이 있으실까요?
0
50
2
memory 설치시 오류가 납니다.
0
37
1
Asset 파일 안에 이미지가 없습니다.
0
40
1
버전이 다른데 계속 강의를 진행하면 어떻합니까?
1
23
1
너무 초보적인 질문입니다.
0
38
2
트러블슈팅 케이스 스터디 - P 대형 커머스
0
25
2
랭그래프의 노드 직선연결
0
34
1
강의 내용 질문 `[실습] MDC·UTM·세션ID로 "돈 버는 로거" 만들기`
0
30
1
<핸즈온 머신러닝 with 사이킷런, 파이토치> 챌린지 쿠폰 관련 문의드립니다
0
38
1
Herdr 단축키 관련 문의드립니다.
0
45
1
herdr와 LLM에서 에이전트 배정하는 것과의 차이?
0
30
1
"핸즈온 머신러닝 with 사이킷런, 파이토치 예제 코드 해설" 쿠폰
0
40
4
화면이 안나와요
0
42
2
수업자료
1
55
1
"핸즈온 머신러닝 with 사이킷런, 파이토치 예제 코드 해설" 쿠폰
0
34
2
화면이 보이지 않습니다.
0
37
1
LLM 서비스의 신뢰성
1
104
1

