LLM 응답속도
73
21 câu hỏi đã được viết
안녕하세요! LangChain 관련 강의를 수강하고 있습니다.
다름이 아니라 응답 속도에 관해서 질문드리고싶은데요.
LLM(e.g., OpenAI)에 입력(질문)한다.
OpenAI의 API Call이 수행된다.
OpenAI에서 응답이 BE로 전달된다.
이 순서가 될텐데. 이 때, 강의를 보면 AIMessage가 금방 도출이 되는데. 질문의 길이가 길고, 전문적이게 된다면 응답의 속도가 느려지는건지 궁금합니다.
Câu trả lời 1
0
네, 맞습니다. 질문이 길고 전문적일수록 응답 속도는 느려집니다. 입력 토큰이 많아지면 모델이 처리해야 할 컨텍스트가 커져 초기 처리 시간이 증가하고, 복잡한 질문일수록 모델이 생성하는 응답도 길어지기 때문입니다.
강의에서 빠르게 보이는 이유는 주로 짧고 간단한 예제를 사용하기 때문이며, 실제 프로덕션 환경에서는 복잡한 질의에 수 초에서 수십 초가 소요될 수 있습니다. 이를 개선하려면 스트리밍 방식을 활용하여 토큰이 생성되는 즉시 사용자에게 전달하거나, 프롬프트를 최적화하여 불필요한 입력을 줄이는 방법을 고려할 수 있습니다.
20번강좌에 대한 질문입니다.
0
5
1
6-6
0
16
1
마크다운을 텍스트 파일로 변환하기
0
17
1
작업형 1 유형 부분
0
13
1
수강평 이벤트
0
21
2
작업형 1 (삭제예정, 구 버전)
0
34
2
강의노트는 어디있나요?
0
21
1
노션 학습 자료 권한 요청
0
17
1
수강기간 연장 문의드립니다.
0
23
1
2유형 레이블 인코딩 VS 원핫 인코딩
0
25
3
part2강의 문의사항입니다.
0
22
2
수강기간 연장 문의드립니다.
0
27
1
인덱스 슬라이싱
0
28
2
코드를 첨부해야하는 이유가 있나요?
0
22
2
RAG 강의 prompt 질문
0
72
2
system 메세지는 정의가 되어 있는 건가요?
0
52
2
새로 추가된 강의의 강의자료는 따로 없는 걸까요??
0
174
2
안녕하세요. 오늘 커뮤니티에 올라온 서적 예제 4.11관련 질문입니다.
0
116
2
llm 모델 사용 관련 질문 있습니다.
0
193
3
랭체인 질문드립니다.
0
174
2
코드 결과값이 좀 다릅니다.
0
181
2
chain 실행 오류가 납니다.
0
236
2
랭체인 실행이 안됩니다.
0
1362
3
typer 호환 문제
0
590
2