WebFlux & Web MVC 혼용해서 사용했을 때 스레드에 대한 질문

2026-08-08T07:49:25.002Z

0

상세하고 친절한 답변 감사합니다 강사님. 강사님께서 조언해주신 대로 테스트해봤는데, 흥미로운 결과가 나왔습니다. 외부 API(Open AI) 요청 전에는 톰캣 스레드가 사용되었지만, 외부 API를 호출하는 동안에는 boundedElastic 스레드가 사용됩니다. 찾아보니 이건 톰캣 스레드, 이벤트 루프 스레드 둘 다 아닌, MVC에서 리액티브 API 사용 시 별도로 생성되는 스레드인 것 같습니다. (스레드 개수 기본값은 CPU 코어 수 x 10) 아무래도 톰캣 스레드가 모두 고갈되어서 애플리케이션 전체가 마비되는 것을 방지하기 위해 별도로 만든 스레드인 것 같은데, 제 생각이 맞을까요?

물론 이것이 톰캣 스레드가 고갈되는 현상을 방지하긴 해도 이러한 외부 API 호출 작업이 한꺼번에 몰리고 응답 시간이 길어진다면, 강사님 말씀대로 boundedElastic 스레드 자체도 고갈될 것 같긴 합니다. 따라서 역시 Netty 이점을 그대로 사용하려면 아예 애플리케이션 자체가 Web MVC 라이브러리를 제외하고 오로지 WebFlux만 사용하는 방식밖에 없을 것 같습니다.

톰캣 스레드에서 boundedElastic 스레드로 넘어가는 로그는 다음과 같습니다.

[운영 중인 실서비스의 외부 API (Open AI) 호출 코드]

private Flux<ServerSentEvent<AiChunkResponse>> stream(AiCategory category, String context,
                                                      String question, String cacheKey) {
    // 캐시 히트: 저장된 전체 답변을 이벤트 1개로 전송한다(가짜 청크 분할 없이 바로 노출).
    String cached = cacheService.get(cacheKey);
    if (cached != null) {
        return Flux.just(token(cached), done());
    }

    String system = COMMON_RULES + "\n" + category.getPromptSection() + "\n[데이터]\n" + context;

    // tool calling 제거로 OpenAI 호출은 1라운드지만, usage 청크가 반복될 수 있어 변할 때만 합산한다.
    AtomicInteger inSum = new AtomicInteger();
    AtomicInteger outSum = new AtomicInteger();
    AtomicReference<String> lastUsageKey = new AtomicReference<>("");
    // 캐시 미스: 실시간 스트리밍하면서 토큰을 누적했다가 완료 시 1회 저장한다.
    StringBuilder answerBuf = new StringBuilder();
    log.info("[Before External IO] Current Thread Name = {}", Thread.currentThread().getName());

    return chatClient.prompt()
            .system(system)
            .user(question)
            .stream()
            .chatResponse()
            .doOnNext(resp -> {
                log.info("[While External IO] Current Thread Name = {}", Thread.currentThread().getName());
                Usage usage = resp.getMetadata().getUsage();
                if (usage == null || usage.getTotalTokens() == null || usage.getTotalTokens() == 0) return;
                int in = usage.getPromptTokens() != null ? usage.getPromptTokens() : 0;
                int out = usage.getCompletionTokens() != null ? usage.getCompletionTokens() : 0;
                String key = in + ":" + out;
                if (!key.equals(lastUsageKey.getAndSet(key))) {
                    inSum.addAndGet(in);
                    outSum.addAndGet(out);
                }
            })
            .doOnComplete(() -> {
                log.info("[AI 토큰] category={} in={} out={} total={}",
                        category, inSum.get(), outSum.get(), inSum.get() + outSum.get());
                cacheService.save(cacheKey, answerBuf.toString());
            })
            .mapNotNull(resp -> {
                // 텍스트 없는 청크(usage/finishReason 전용)는 getText()=null →
                // 그대로 내보내면 클라이언트에 'null' 문자열로 찍힌다. 이런 청크는 방출하지 않는다.
                if (resp.getResult() == null || resp.getResult().getOutput() == null) return null;
                String chunk = resp.getResult().getOutput().getText();
                if (chunk == null || chunk.isEmpty()) return null;
                answerBuf.append(chunk);
                return token(chunk);
            })
            .concatWith(Mono.just(done()))
            .onErrorResume(e -> Mono.just(
                    ServerSentEvent.builder(new AiChunkResponse("처리 중 오류가 발생했습니다."))
                            .event("error").build()));
}