inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!

컨슈머 커밋 실패 문의드립니다..

233

아리마

작성한 질문수 76

0

강사님 안녕하세요.

강의 잘 듣고 있습니다. 

컨슈머의 동기/비동기 커밋 과정을 듣다가 한가지 질문사항이 생겼는데요.

비동기 커밋의 경우, 별도 콜백을 통해 커밋이 실패한 경우를 캐치해낼 수 있었는데요.

만약 컨슈머의 poll 메소드를 통해 가져온 레코드의 오프셋이 1부터 100까지 있었다고 할 때,

컨슈머 애플리케이션에서는 100번 루프를 돌면서 레코드를 처리할텐데

만약 이런 경우, 레코드별로 커밋이 이뤄진다면 마지막에 커밋 실패가 나지않고, 중간에 커밋 실패가 발생하는 것은

문제로 보기는 어려운 상황일까요?

예를 들어 99번 오프셋에서 커밋 실패해도 100번 오프셋에서 커밋 성공하면 99번의 커밋 실패는 별 의미가 없을 거 같아서요.

데이터 엔지니어링 Kafka

답변 1

0

데브원영 DVWY

아리마님, 질문 답변드립니다.

poll()호출 이후에 레코드를 순서대로 커밋을 수행할 때, 중간에 커밋 실패 이후 마지막 커밋이 성공하면 이슈가 없나요?
네 이해하신 내용이 정확히 맞습니다. 중간에 커밋이 실패나더라도 컨슈머 애플리케이션이 정상적으로 실행 중이라면 이후에 다시 다른 레코드의 커밋을 성공하면 이슈가 아니라고 볼 수 있습니다.

카프카 ISR 개념 부분 질문

0

487

1

카프카 커넥터를 두가지 사용하는 이유

0

909

1

브로커, 토픽, 파티션관계

0

687

1

커넥트(소스), 커넥트(싱크)

1

546

1

카프카 isr 질문 있어요

0

340

1

파티션 질문 있어요

0

393

1

명령어 관련 문의드립니다.

0

436

2

토픽의 레코드가 라운드로빈으로 배정되는 방식 질문있습니다.

0

435

2

레코드에 json 형태의 데이터 넣는법 질문

0

436

2

카프카 도커로 실행

1

447

1

CCDAK 질문입니다!

0

1368

1

스트림즈 조인에 관련해서 질문드립니다.

0

307

1

min.insync.replicas에서 설정값만큼의 브로커 다운시

0

259

1

브로커로 메시지를 보낼때 null값인 경우

0

475

1

zookeeper 실행시 에러

1

788

1

온프레미스 환경 설치에 대해 질문있습니다.

0

358

1

리밸런싱 시, 메시지 중복 처리 문제

0

1074

1

강사님, Idempotence / transaction의 차이가 궁금합니다.

0

377

1

브로커 장애 발생시 질문

0

339

1

에러 핸들링과 관련하여 질문 드립니다

0

316

1

토픽 생성시 파티션이 배치되는 방법

0

367

1

질문있습니다!

0

141

1

카프카 스트림즈 에러 핸들링 질문 드립니다

0

402

1

카프카 클러스터 질문이 있습니다.

0

186

1