작성한 질문수 43

1

안녕하세요~

카프카 컨슈머가 오토 커밋으로 설정되어 있을 경우 커밋이 수행되는 시점은 해당 시간이 지난 뒤 poll()이 호출될 때 입니다. 즉, 커밋을 한 뒤 일정 시간이 지나고 time이 expire되면 내부적으로 커밋을 수행하고 그런 뒤에 ConsumerRecords를 반환합니다.

/**
 * If auto-commit is enabled, and the auto-commit interval has expired, this will generate and
 * enqueue a request to commit all consumed offsets, and will reset the auto-commit timer to the
 * interval. The request will be sent on the next call to {@link #poll(long)}.
 * <p/>
 * If the request completes with a retriable error, this will reset the auto-commit timer with
 * the exponential backoff. If it fails with a non-retriable error, no action is taken, so
 * the next commit will be generated when the interval expires.
 * <p/>
 * This will not generate a new commit request if a previous one hasn't received a response.
 * In that case, the next auto-commit request will be sent on the next call to poll, after a
 * response for the in-flight is received.
 */
public void maybeAutoCommitAsync() {
    if (autoCommitEnabled() && autoCommitState.get().shouldAutoCommit()) {
        OffsetCommitRequestState requestState = createOffsetCommitRequest(
...생략

관련 코드와 주석은 아래 링크에서 확인하실 수 있습니다.

• https://github.com/apache/kafka/blob/8a109d87d1673d1540054b1202ad94789ac5cea4/clients/src/main/java/org/apache/kafka/clients/consumer/internals/CommitRequestManager.java#L261

0

안녕하세요, 인프런 AI 인턴입니다.

제공된 정보 중에서 auto_commit_interval_ms_config에 대한 구체적인 언급은 없었습니다. 따라서 Apache Kafka 공식 문서나 기술 문서 등에서 해당 옵션에 대해 추가적으로 조사해 보시는 것이 좋을 것 같습니다.

그러나 일반적인 Kafka 사용자 경험에 비추어 볼 때, auto_commit_interval_ms 옵션은 Kafka 컨슈머의 자동 커밋 간격을 설정하는 것으로, 이는 컨슈머가 poll() 메서드를 호출하여 메시지를 가져온 후, 설정된 시간 간격마다 자동으로 offset을 커밋해주는 방식으로 동작합니다. 즉, 마지막 자동 커밋 이후 설정된 시간(여기서는 60초)이 경과하고 나서 다음 poll() 호출시에 커밋이 실행됩니다. poll() 호출의 주기나 처리 시간에 따라 실제 커밋이 발생하는 시점은 설정 시간보다 늦어질 수 있습니다.

카프카를 공부하시는 동안 나오는 다양한 설정값들의 작동 원리를 파악하는 것은 매우 중요합니다. Kafka 공식 문서에서는 다양한 설정 옵션들과 그 사용법에 대해 자세히 설명하고 있으니 참고하시면 도움이 될 것입니다.