Chroma.from_documents 수행시 kernel 중단

RAG를 활용한 LLM Application 개발 (feat. LangChain)

3.2 LangChain과 Chroma를 활용한 RAG 구성

해결된 질문

작성

안녕하세요, 강의를 듣고 있는 수강생입니다.

퀄리티 있는 강의 감사드립니다.

다름이 아니라, 저는 윈도우 환경에서

VisualStudio에서 소스를 돌리고 있고

소스를 실행하는 실행환경은 venv 가상환경 python 3.10.11 버전으로 구성을 했습니다.

다른 소스는 문제 없이 수행되나

Chroma.from_documents 수행시에

kernel 이 중단되는 문제가 있습니다.

C기반의 라이브러리 충돌이나 시스템 메모리 충돌일 가능성이 높다고 하여

python 버전도 바꿔보고,

깔려 있는 라이브러리들의 버전도 바꿔보고

C기반 라이브러리도 다시 설치해보고 했으나

여전히 저 과정에서 죽습니다.

documents 사이즈를 한문장 처럼 작은 단위로 줄여서 시도도 해봤으나 이것도 저한테는 효과가 없네요..

같은 데이터셋으로 FAISS에 저장하는 건 제 가상환경에서도 성공하는데...

Chroma만 되지 않습니다..

혹시 어떻게 하면 좋을지 조언 얻을 수 있을까요?

vector-database llm langchain rag openai-api

답변 3

강병진

지식공유자

안녕하세요! 좋은 질문 감사합니다. 유사한 문제를 겪으셨던 다른 분은 결국 가상환경을 삭제하고 다시 진행해서 해결했다고는 하시는데 근본적인 해결책은 아니라서 쉽지 않은 상황이네요

https://inf.run/Trx8S

제가 강의에서 사용하는 langchain-chroma도 결국 chroma의 wrapper라서, 깃헙이슈를 찾아보니 버전을 downgrade하고 해결했다는 글이 있는데 한번 시도해보실 수 있을까요?

https://github.com/chroma-core/chroma/issues/2513#issuecomment-2230744521

Kiki

질문자

저 글도 봤어서,,, chromadb 버전 다운도 해봤었는데..

저걸 내리면 나머지 다른 라이브러리들 호환성 충돌이 나서 결국 실패했습니다.

강병진

지식공유자

뭔가 데이터를 추가할 때 이슈가 있는 것 같은데 파악이 쉽지 않네요. 로컬에서 구동하시려고 chroma를 사용하셔야하는 상황이실까요?

Kiki

질문자

넵 맞습니다... 로컬에서 사용해야 해서 FAISS 같은 인메모리 DB로는 바꿀 수 없었고,,

결국에는 몇번 더 가상 환경을 다시 구성하고,,

visual c++ redistributable 을 설치하고 해결이 됐습니다.

에디터에서 소스 실행시에는 오류가 안뜨고 kernel 이 죽었는데

윈도우 파워쉘에서 .py 파일 수행하니 다행히 로그가 떠서 그 로그 찾아서 오류를 찾았습니다 .ㅠ

chroma db를 코드에서 사용할때 내부적으로 C 기반 코드로 컴파일 되어 수행되는 코드들이 있어서 윈도우 PC인 제 PC에서는 chroma 만 사용하면 오류가 나는 거였습니다. 지금은 문제 없이 수행됩니다..

강병진

지식공유자

상세하게 공유해주셔서 감사합니다! 자주 묻는 질문에 등록해야겠네요. 호오옥시 WSL 사용 안하시고 윈도우로만 개발하시는 중이신가요? 그냥 개인적인 궁금증인데 WSL을 사용하지 않으시는 이유가 있나 해서요~

Kiki

질문자

아 사실 ubuntu로 리눅스 가상환경도 설치되어 있긴 한데...

로컬에서 그냥 시작한 김에... 에러를 해결하고 끝내자는 오기로,,, 그냥 로컬에서 진행했습니다..ㅎㅎㅎ....,.,.,.,.....

그리고,, 강의를 보고 그냥 따라가다 보니,

강의에 나오는 코드가 제대로 잘 수행되게 하는 거에만 집중했지 ㅠ

WSL 사용까지는 생각이 미치지 못했네요..

강병진

지식공유자

디버깅해서 근본적인 오류를 해결하는 건 좋은 습관이라고 생각합니다 ㅎㅎ 강의 수강하시면서 또 에러가 발생하거나 설명이 부족한 부분이 있으면 질문으로 올려주세요! 디버깅 과정 공유해주셔서 감사합니다~

Kiki

질문자

.chroma db 도 다시 만들어보고,,

처음부터 모든 환경을 다시 깔아도 봤는데... 다 안됩니다...

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. Kiki님, 질문에 감사드립니다. Chroma의 from_documents 기능 실행 도중 커널이 중단되는 문제가 있다고 하셨군요. 이 문제는 시스템 자원 문제나 라이브러리 버전의 불일치로 인해 발생할 가능성이 있습니다.

문제 해결을 위한 몇 가지 접근 방법

메모리 관리 최적화:
- Chroma 를 사용하여 대량의 데이터를 처리할 때는 시스템 메모리의 사용량이 클 수 있습니다. 가능한 적은 수의 문서부터 시작하여 점진적으로 처리해 보세요.
- documents를 작은 배치로 나누어 처리해 보시기 바랍니다. 이미 시도해보셨다고 하셨지만, 각 배치의 크기를 더욱 줄여보시는 것도 방법입니다.
가상환경 및 라이브러리 버전 확인:
- venv를 이용하고 계시니, 가상환경에서 필요한 모든 패키지가 올바르게 설치되어 있는지 확인하세요. requirements.txt에서 명시된 패키지의 버전과 호환성을 유지하는 것이 중요합니다.
호환성 문제 해결:
- Chroma와 langchain의 특정 버전 간의 호환성 문제일 수 있습니다. 사용하고 있는 Chroma, langchain 및 관련 라이브러리의 최신 버전이 무엇인지 확인하시고, 추천 버전 안내에 따라 업데이트 혹은 다운그레이드 해 보세요.
로그 및 오류 메시지 확인:
- 발생하는 오류 메시지나 로그를 확인하고, 어떤 부분에서 문제가 발생했는지 구체적으로 파악하는 것이 중요합니다. 일반적으로 로그 파일에 더 상세한 오류 내용이 남아 있을 수 있습니다.
포럼 및 커뮤니티 활용:
- 인프런 커뮤니티나 해당 라이브러리의 GitHub 이슈, Stack Overflow 같은 커뮤니티 포럼에서 비슷한 문제를 겪은 사용자의 해결 방법을 검색해 보시는 것도 좋습니다.

추가 자료 및 링크

이 정보를 바탕으로 문제를 해결할 수 있기를 바랍니다. 만약 문제가 계속되면, 추가적인 오류 메시지나 로그 정보를 함께 제시해 주시면 더 나은 도움을 드릴 수 있을 것입니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

인프런 커뮤니티 질문&답변