LLM 응답속도
121
21 câu hỏi đã được viết
안녕하세요! LangChain 관련 강의를 수강하고 있습니다.
다름이 아니라 응답 속도에 관해서 질문드리고싶은데요.
LLM(e.g., OpenAI)에 입력(질문)한다.
OpenAI의 API Call이 수행된다.
OpenAI에서 응답이 BE로 전달된다.
이 순서가 될텐데. 이 때, 강의를 보면 AIMessage가 금방 도출이 되는데. 질문의 길이가 길고, 전문적이게 된다면 응답의 속도가 느려지는건지 궁금합니다.
Câu trả lời 1
0
네, 맞습니다. 질문이 길고 전문적일수록 응답 속도는 느려집니다. 입력 토큰이 많아지면 모델이 처리해야 할 컨텍스트가 커져 초기 처리 시간이 증가하고, 복잡한 질문일수록 모델이 생성하는 응답도 길어지기 때문입니다.
강의에서 빠르게 보이는 이유는 주로 짧고 간단한 예제를 사용하기 때문이며, 실제 프로덕션 환경에서는 복잡한 질의에 수 초에서 수십 초가 소요될 수 있습니다. 이를 개선하려면 스트리밍 방식을 활용하여 토큰이 생성되는 즉시 사용자에게 전달하거나, 프롬프트를 최적화하여 불필요한 입력을 줄이는 방법을 고려할 수 있습니다.
Alpha vantage 유료화?
0
5
0
오류
0
7
1
29강 작업2형의 이상치 처리
0
12
2
클로드 데스크톱 강의에서 교안찾기
0
10
0
재탕문제
0
14
1
재탕문제
0
12
0
수강기간 연장 문의드립니다!
0
14
1
파이썬 추가 코드
0
20
1
9월에 실기출제기준 개정내역에 신설된부분
0
26
1
목차랑 내용이 전혀 다른데요
0
21
2
실기 문제 구성?
0
26
0
실기 문제 구성?
0
29
0
colab 작동
0
40
2
강의 수강 순서
0
121
1
RAG 강의 prompt 질문
0
120
2
system 메세지는 정의가 되어 있는 건가요?
0
107
2
새로 추가된 강의의 강의자료는 따로 없는 걸까요??
0
221
2
안녕하세요. 오늘 커뮤니티에 올라온 서적 예제 4.11관련 질문입니다.
0
150
2
llm 모델 사용 관련 질문 있습니다.
0
250
3
랭체인 질문드립니다.
0
219
2
코드 결과값이 좀 다릅니다.
0
223
2
chain 실행 오류가 납니다.
0
285
2
랭체인 실행이 안됩니다.
0
1527
3
typer 호환 문제
0
642
2