인프런 커뮤니티 질문&답변

안녕하세요, 수업을 잘 듣고 사용하고 있는 기업 연구원입니다.

llm모델과 retrevial모델이 다른 경우 벡터값이 다를텐데, 어떻게 작동하는지 모르겠어서 질문드립니다.

자세한 내용은 아래와 같습니다.

Retrevial모델로는 mpnet을 사용합니다.

model_name = "sentence-transformers/all-mpnet-base-v2"
model_kwargs = {"device": "cuda:0"}
embeddings = HuggingFaceEmbeddings(model_name=model_name, 
                                   model_kwargs=model_kwargs
                                  )

이러한 임베딩 모델을 선언한 뒤에, chroma로 vectordb를 만들었다고 가정하고,

llm틀은 llama2를 사용하여 쿼리 파이프라인을 만들었습니다.

retriever = vectordb.as_retriever()
query_pipeline = transformers.pipeline(
        "text-generation",
        model=model, # 모델id: 'meta-llama/Llama-2-7b-chat-hf'로 함 (생략됨)
        tokenizer=tokenizer,
        torch_dtype=torch.float16,
        device_map= device,
)

llm = HuggingFacePipeline(pipeline=query_pipeline)
qa = RetrievalQA.from_chain_type(
    llm=llm, 
    chain_type="stuff", 
    retriever=retriever, 
    verbose=True
)

이런식으로 해서 사용을 해도 사용이 잘 되는 것을 확인했습니다만 이해가 안됩니다.

제가 '쿼리'를 보내면, llama2 모델이 벡터화를 할 것이고,

벡터db에서 찾을때는 "sentence-transformers/all-mpnet-base-v2"이 모델로 벡터화 된 데이터를 찾을 것인데 이 두 벡터 값이 다를 것 같은데 왜 작동이 되는 건가요?

제 생각으로는 두개의 다른 모델이라면 같은 문장이어도 다른 벡터값을 가질텐데, 어떻게 이게 두개의 언어모델이 다른데 작동하는건지 궁금합니다.

답변 기다리겠습니다. 감사합니다:) 좋은 교육 받을 수 있어서 기쁩니다.