LLM 응답속도
110
21 câu hỏi đã được viết
안녕하세요! LangChain 관련 강의를 수강하고 있습니다.
다름이 아니라 응답 속도에 관해서 질문드리고싶은데요.
LLM(e.g., OpenAI)에 입력(질문)한다.
OpenAI의 API Call이 수행된다.
OpenAI에서 응답이 BE로 전달된다.
이 순서가 될텐데. 이 때, 강의를 보면 AIMessage가 금방 도출이 되는데. 질문의 길이가 길고, 전문적이게 된다면 응답의 속도가 느려지는건지 궁금합니다.
Câu trả lời 1
0
네, 맞습니다. 질문이 길고 전문적일수록 응답 속도는 느려집니다. 입력 토큰이 많아지면 모델이 처리해야 할 컨텍스트가 커져 초기 처리 시간이 증가하고, 복잡한 질문일수록 모델이 생성하는 응답도 길어지기 때문입니다.
강의에서 빠르게 보이는 이유는 주로 짧고 간단한 예제를 사용하기 때문이며, 실제 프로덕션 환경에서는 복잡한 질의에 수 초에서 수십 초가 소요될 수 있습니다. 이를 개선하려면 스트리밍 방식을 활용하여 토큰이 생성되는 즉시 사용자에게 전달하거나, 프롬프트를 최적화하여 불필요한 입력을 줄이는 방법을 고려할 수 있습니다.
워킹플로우 제목 생성 오류와 키워드 미생성 오류
0
5
0
수강 신청 연장 문의드립니다.
0
13
1
26년2회 실기기출은 언제쯤...
0
13
2
재귀함수 종료조건
0
8
1
채팅플로우 실행시 진전이 없고 비슷한 류의 답변만 나와요
0
8
1
git bash .env
1
11
1
예제 001 실행 안됩니다.
0
13
3
ipython 설치가 안되는거 같습니다.
0
9
1
이론 공부법 요약본 버전 업데이트 문의
0
15
2
피드백 내용 문의드립니다.
0
20
0
백준 서비스 종료로 인한 강의 자료 업데이트 요청드립니다.
0
22
1
노드
0
16
1
백준 사이트 준비중이라 문제를 볼 수 가 없어요
0
21
1
강의 수강 순서
0
103
1
RAG 강의 prompt 질문
0
104
2
system 메세지는 정의가 되어 있는 건가요?
0
87
2
새로 추가된 강의의 강의자료는 따로 없는 걸까요??
0
205
2
안녕하세요. 오늘 커뮤니티에 올라온 서적 예제 4.11관련 질문입니다.
0
131
2
llm 모델 사용 관련 질문 있습니다.
0
228
3
랭체인 질문드립니다.
0
207
2
코드 결과값이 좀 다릅니다.
0
211
2
chain 실행 오류가 납니다.
0
264
2
랭체인 실행이 안됩니다.
0
1487
3
typer 호환 문제
0
621
2