Time series 데이터에 kafka 적용
388
작성한 질문수 2
안녕하세요, 강의 잘 듣고 있습니다.
저는 주로 시계열 데이터를 다루고 있는데요, 시계열 중에서도 데이터의 순서가 중요한 데이터입니다.
kafka를 사용할 경우 내부 로직은 추상화 되어있고, 데이터의 전달과 1번 전달보장할 수 있으나( dempotency 설정등) 데이터의 전달 순서는 보장하지 않는 것으로 생각됩니다 (질문1) kafka는 기본적으로 데이터 전달에서 순서를 보장하지 않는 것이 맞는지 확인 부탁드립니다.
스트림즈 애플리 케이션 에서는 강의 내용을 들어보니, 순서가 보장이 되는 것으로 보입니다. 예컨대 KStreams, KTable 조인 스트림즈 애플리케이션 강의자료에서 Ktable의 값이 업데이트 될 경우의 예시를 들어주셨는데요, 만약 KStreams, KTable 양쪽 모두 값 변경이 잦고, 이 순서가 중요할 경우에도 동작을 해야할 것으로 보입니다. (질문2) Time sereis 데이터를 kafka를 활용하여 전달할 경우, 변경이 잦고 순서가 중요한 경우에도 스트림즈 애플리케이션을 사용할 수 있을지 궁금합니다.
2번 질문의 경우, 제가 전부를 이해하지 못했으나 다음의 블로그의 내용을 참조했습니다.
답변 1
1
안녕하세요 Marcus Lee님,
질문1) kafka는 기본적으로 데이터 전달에서 순서를 보장하지 않는 것이 맞는지 확인 부탁드립니다.
카프카는 파티션 단위로 순서를 보장합니다.
질문2) Time sereis 데이터를 kafka를 활용하여 전달할 경우, 변경이 잦고 순서가 중요한 경우에도 스트림즈 애플리케이션을 사용할 수 있을지 궁금합니다.
순서가 중요한 경우 대부분 텀블링, 슬라이딩, 세션 윈도우를 사용하여 연산하는 것이 일반적인데요. 그러한 경우 스트림즈를 활용하면 기대하신 결과를 얻으실 수 있을것 같네요.
카프카 ISR 개념 부분 질문
0
484
1
카프카 커넥터를 두가지 사용하는 이유
0
903
1
브로커, 토픽, 파티션관계
0
679
1
커넥트(소스), 커넥트(싱크)
1
538
1
카프카 isr 질문 있어요
0
332
1
파티션 질문 있어요
0
390
1
명령어 관련 문의드립니다.
0
427
2
토픽의 레코드가 라운드로빈으로 배정되는 방식 질문있습니다.
0
427
2
레코드에 json 형태의 데이터 넣는법 질문
0
431
2
카프카 도커로 실행
1
442
1
CCDAK 질문입니다!
0
1351
1
스트림즈 조인에 관련해서 질문드립니다.
0
303
1
min.insync.replicas에서 설정값만큼의 브로커 다운시
0
256
1
브로커로 메시지를 보낼때 null값인 경우
0
466
1
zookeeper 실행시 에러
1
784
1
온프레미스 환경 설치에 대해 질문있습니다.
0
352
1
리밸런싱 시, 메시지 중복 처리 문제
0
1063
1
강사님, Idempotence / transaction의 차이가 궁금합니다.
0
372
1
브로커 장애 발생시 질문
0
335
1
에러 핸들링과 관련하여 질문 드립니다
0
313
1
토픽 생성시 파티션이 배치되는 방법
0
356
1
질문있습니다!
0
138
1
카프카 스트림즈 에러 핸들링 질문 드립니다
0
397
1
카프카 클러스터 질문이 있습니다.
0
183
1





