로그와 세그먼트
358
投稿した質問数 2
안녕하세요. 강의듣다 헷갈려서 질문드립니다.
로그와 세그먼트에서 설명이 로그에서 갑자기 세그먼트로 넘어가는 느낌을 받았는데, 어떻게 이해하면될까요
로그 = 세그먼트
로그 = 세그먼트 들을 저장하는 로그파일
세그먼트 = 오프셋 1ea의 명칭
回答 2
2
자문 자답 해봅니다.
로그는 논리적인 개념, 세그먼트는 물리적인 개념으로
실제 서버에서 보는 파일은 세그먼트의 기준에 의해 분배되어 log로 저장되는걸로 인지하고 강의 듣고있습니다.
1
안녕하세요. 정리하신바와 같이, 세그먼트는 물리적인 파일 단위이고 내부적으로 데이터가 로그(Log)처럼 쌓인다고 보시면 됩니다. 여기서 로그의 특징은 append되면서 update되지 않는 데이터를 뜻하는데요. 레코드가 로그처럼 쌓여서 세그먼트 파일로 저장된다고 보시면 됩니다.
consume 이후 lag가 줄어들지 않음
0
71
2
안녕하세요. 강의의 카프카 버전과 현재 시점의 카프카의 차이점 문의 드립니다.
0
102
2
멱등성 프로듀서 retries 관련 질문입니다.
0
95
2
채팅 서비스 개발 시 주의점이 있을까요?
0
95
2
충분히 큰 파티션 생성시 궁금증이 존재합니다.
0
83
2
KTable 키가 없는 레코드 처리
0
70
2
컨슈머 테스트 코드 작성
0
92
2
리밸런스 onPartitionRevoked이 필요한 상황
0
72
2
카프카 클러스터에서 감당 가능한 파티션(레플리카) 수 문의
0
117
2
reset offset 질문
0
73
2
KStreamJoinKTable 실행시 오류
0
74
2
auto.commit.interval.ms 옵션 관련 질문 드립니다.
0
137
2
파티션, 컨슈머 그룹, 컨슈머 관련 질문
0
116
1
java, kotlin
0
126
2
shutdownThread 에 대한 문의 입니다.
0
151
2
zookeeper실행시 오류가 발생합니다.
0
265
2
커스텀 소스 커넥터에서 Thread.sleep (1000) 은 왜 하는거에요?
0
149
2
처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요
0
178
3
파티션 개수와 컨슈머 개수의 처리량 관련 질문
0
162
2
동영상 및 이미지 처리 관련 문의 드립니다.
0
221
2
주키퍼 없이 사용 문의 드립니다.
0
297
1
kafka 를 띄우니 오류가 발생하고 종료합니다.
0
278
3
zookeeper 실행시 오류 .. 무엇을 해야 할까요?
0
217
2
파티션 추가로 해결할 수 있지만 늘어난 파티션은 줄일 수 없지 않나요?
0
192
2