LLM 응답속도
100
작성한 질문수 21
안녕하세요! LangChain 관련 강의를 수강하고 있습니다.
다름이 아니라 응답 속도에 관해서 질문드리고싶은데요.
LLM(e.g., OpenAI)에 입력(질문)한다.
OpenAI의 API Call이 수행된다.
OpenAI에서 응답이 BE로 전달된다.
이 순서가 될텐데. 이 때, 강의를 보면 AIMessage가 금방 도출이 되는데. 질문의 길이가 길고, 전문적이게 된다면 응답의 속도가 느려지는건지 궁금합니다.
답변 1
0
네, 맞습니다. 질문이 길고 전문적일수록 응답 속도는 느려집니다. 입력 토큰이 많아지면 모델이 처리해야 할 컨텍스트가 커져 초기 처리 시간이 증가하고, 복잡한 질문일수록 모델이 생성하는 응답도 길어지기 때문입니다.
강의에서 빠르게 보이는 이유는 주로 짧고 간단한 예제를 사용하기 때문이며, 실제 프로덕션 환경에서는 복잡한 질의에 수 초에서 수십 초가 소요될 수 있습니다. 이를 개선하려면 스트리밍 방식을 활용하여 토큰이 생성되는 즉시 사용자에게 전달하거나, 프롬프트를 최적화하여 불필요한 입력을 줄이는 방법을 고려할 수 있습니다.
loop is not defined
0
6
1
slack 알림 연동 강의 관련
0
7
1
가상환경 설정이 안됩니다
0
6
0
모델 설정 : Gemini로 해도 되나요?
0
9
2
supabase_key 관련
1
17
2
프롬프트의 영문 버전을 만들 때, 출력 규칙에 포함된 한글 부분은 영어로 번역하지 않고 그대로 유지하면서, 영문 편과 한글 편을 한 번에 함께 출력하려면 어떤 워크플로우로 구성하면 좋을까요?
0
16
0
프로그램은 뭘 사용하시는 건가요??
1
18
2
수업자료와 노션 공유 문제
0
27
3
python run.py 실행시 에러 문제
1
56
2
조건 반복문 질문: for 문 ?
0
34
0
54강 4분 41초에서 질문 있어요.
0
37
1
커서창
1
40
2
22강 빌드가 에러가 납니다
0
23
0
강의 수강 순서
0
82
1
RAG 강의 prompt 질문
0
94
2
system 메세지는 정의가 되어 있는 건가요?
0
71
2
새로 추가된 강의의 강의자료는 따로 없는 걸까요??
0
199
2
안녕하세요. 오늘 커뮤니티에 올라온 서적 예제 4.11관련 질문입니다.
0
126
2
llm 모델 사용 관련 질문 있습니다.
0
215
3
랭체인 질문드립니다.
0
197
2
코드 결과값이 좀 다릅니다.
0
196
2
chain 실행 오류가 납니다.
0
250
2
랭체인 실행이 안됩니다.
0
1460
3
typer 호환 문제
0
611
2