inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!

그 외 커맨드 라인 툴

카프카 데이터는 세그먼트단위로만 삭제가 되는게 아니었던건가요

381

김대호

작성한 질문수 12

0

카프카 레코드삭제는 세그먼트 단위로만 가능하다고 말씀하신 앞선 강의와, kafka-delete-record가 상충되는거 같아 여쭙니다.
 
delete-record의 예시로 5를 주셨는데 만약 한 segment에 0 ~ 100까지의 레코드가 들어있다면 해당 옵션으로 segment는 6~100까지의 데이터를 들고있게 되는걸로 이해해도 괜찮을까요

데이터 엔지니어링 Kafka

답변 1

1

데브원영 DVWY

김대호님 답변드립니다.

세그먼트의 삭제(policy=delete)와 kafka-delete-records.sh의 동작은 상당히 다릅니다. kafka-delete-records.sh를 수행할 경우에는 low watermark를 특정 레코드에 지정합니다. 그리고 추후 클라이언트가 earliest로 메시지를 요청할 경우 low watermark이후 레코드부터 가져가도록 하는 것이죠. 

low watermark에 대한 동작방식과 자세한 설명은  https://cwiki.apache.org/confluence/display/KAFKA/KIP-107%3A+Add+deleteRecordsBefore%28%29+API+in+AdminClient 를 참고하세요!

카프카 ISR 개념 부분 질문

0

487

1

카프카 커넥터를 두가지 사용하는 이유

0

909

1

브로커, 토픽, 파티션관계

0

687

1

커넥트(소스), 커넥트(싱크)

1

546

1

카프카 isr 질문 있어요

0

340

1

파티션 질문 있어요

0

393

1

명령어 관련 문의드립니다.

0

436

2

토픽의 레코드가 라운드로빈으로 배정되는 방식 질문있습니다.

0

435

2

레코드에 json 형태의 데이터 넣는법 질문

0

436

2

카프카 도커로 실행

1

447

1

CCDAK 질문입니다!

0

1367

1

스트림즈 조인에 관련해서 질문드립니다.

0

307

1

min.insync.replicas에서 설정값만큼의 브로커 다운시

0

259

1

브로커로 메시지를 보낼때 null값인 경우

0

475

1

zookeeper 실행시 에러

1

788

1

온프레미스 환경 설치에 대해 질문있습니다.

0

358

1

리밸런싱 시, 메시지 중복 처리 문제

0

1074

1

강사님, Idempotence / transaction의 차이가 궁금합니다.

0

377

1

브로커 장애 발생시 질문

0

339

1

에러 핸들링과 관련하여 질문 드립니다

0

316

1

토픽 생성시 파티션이 배치되는 방법

0

367

1

질문있습니다!

0

141

1

카프카 스트림즈 에러 핸들링 질문 드립니다

0

402

1

카프카 클러스터 질문이 있습니다.

0

186

1