LLM 응답속도
90
21 câu hỏi đã được viết
안녕하세요! LangChain 관련 강의를 수강하고 있습니다.
다름이 아니라 응답 속도에 관해서 질문드리고싶은데요.
LLM(e.g., OpenAI)에 입력(질문)한다.
OpenAI의 API Call이 수행된다.
OpenAI에서 응답이 BE로 전달된다.
이 순서가 될텐데. 이 때, 강의를 보면 AIMessage가 금방 도출이 되는데. 질문의 길이가 길고, 전문적이게 된다면 응답의 속도가 느려지는건지 궁금합니다.
Câu trả lời 1
0
네, 맞습니다. 질문이 길고 전문적일수록 응답 속도는 느려집니다. 입력 토큰이 많아지면 모델이 처리해야 할 컨텍스트가 커져 초기 처리 시간이 증가하고, 복잡한 질문일수록 모델이 생성하는 응답도 길어지기 때문입니다.
강의에서 빠르게 보이는 이유는 주로 짧고 간단한 예제를 사용하기 때문이며, 실제 프로덕션 환경에서는 복잡한 질의에 수 초에서 수십 초가 소요될 수 있습니다. 이를 개선하려면 스트리밍 방식을 활용하여 토큰이 생성되는 즉시 사용자에게 전달하거나, 프롬프트를 최적화하여 불필요한 입력을 줄이는 방법을 고려할 수 있습니다.
기출 11회 작업형 2_전체 데이터 학습 여부
0
15
1
RateLimitError
0
9
2
예측값 결과 소수점 차이
0
20
2
여태까지 발견한 이슈들 공유드립니다.
1
17
1
기출 문제와 실전챌린지 연습문제 무엇부터 푸는게 나은가요?
0
14
0
전처리 train() test([ ])
0
16
2
작업형 1 배경지식 질문
0
19
2
옳게 풀은건지 질문드립니다!
0
14
1
roc_auc_score
0
22
2
재귀함수 연산법
0
13
2
추가질문 합니다
0
16
2
시험환경 구름
0
18
2
안녕하세요 졸업프로젝트를 준비하는 학생입니다.!
0
12
1
강의 수강 순서
0
66
1
RAG 강의 prompt 질문
0
85
2
system 메세지는 정의가 되어 있는 건가요?
0
64
2
새로 추가된 강의의 강의자료는 따로 없는 걸까요??
0
188
2
안녕하세요. 오늘 커뮤니티에 올라온 서적 예제 4.11관련 질문입니다.
0
123
2
llm 모델 사용 관련 질문 있습니다.
0
212
3
랭체인 질문드립니다.
0
189
2
코드 결과값이 좀 다릅니다.
0
194
2
chain 실행 오류가 납니다.
0
242
2
랭체인 실행이 안됩니다.
0
1417
3
typer 호환 문제
0
601
2