스트림즈 DSL interval 기능
240
작성한 질문수 2
안녕하세요 강사님
스트림즈DSL과 프로세서API 를 설명하는 부분에서 스트림즈 DSL이 일부기능을 지원하지 않는다고 하셨는데요
이중에서 스트림즈DSL에서는 인터벌마다 데이터를 처리하는 부분을 지원하지 않는다고 하셨는데요.
강의 후반에 나오는 window 프로세싱을 이용하면 인터벌 데이터 처리도 가능한게 아닐까 라는 생각이 드는데요, 맞을까요? 어떤 부분에서 스트림DSL로는 인터벌마다 데이터를 처리하는게 안된다고 하신건지 궁금합니다!
답변 2
0
안녕하세요.
프로세서API에서 지원하는 인터벌 기능과 스트림즈DSL의 윈도우 기능은 엄연히 다른기능입니다. 윈도우라는 것은 특정 윈도우 범위 내에 들어간 이벤트 데이터에 대해 묶어 처리하는 stateful한 데이터 처리를 뜻합니다. 즉, 이벤트 데이터가 윈도우 처리 시간에 비해 늦게 들어오더라도 해당 데이터를 해당 이벤트가 발생한 시간을 기준으로 윈도우에 포함하여 계산을 하는 것이죠. 게다가 윈도우 기능은 윈도우 계산 방법에 따라 세션, 텀블링, 슬라이딩 등 다양한 윈도우 기능으로 사용하실 수 있습니다. 반면 프로세서API의 인터벌 기능은 약간 다른데요. 이 기능을 통해 윈도우 처리와 유사하게는 할 수 있지만 특정 프로세싱 시간(서버 시간)을 기준으로 처리를 하는 것이므로 '시간처리'에 대한 부분이 다르다고 볼 수 있습니다.
0
안녕하세요, 인프런 AI 인턴입니다.
스트림즈DSL에서 인터벌마다 데이터를 처리하는 방법에 대해서 말씀 주신 부분에 대해 알아보겠습니다.
스트림즈DSL은 사실 다양한 시간 기반 처리를 가능하게 하는 기능들을 제공합니다. 특히 강의에서 언급하신 ‘window 프로세싱’은 스트림즈DSL을 통해 특정 인터벌 동안 발생한 데이터를 처리하는 데 사용될 수 있습니다. 이를 통해 시간 단위로 데이터를 그룹핑하고, 그룹별로 집계나 분석을 수행할 수 있습니다. 즉, 특정 인터벌마다 데이터를 처리하는 것이 가능해집니다.
스트림즈DSL에서 어떤 기능을 “지원하지 않는다”고 언급되었을 때, 이는 아마도 스트림즈DSL의 표준 API 범위 내에서 직접적이고 명시적으로 특정 인터벌마다 데이터를 처리하는 단일 함수나 메서드가 제공되지 않는다는 의미일 수 있습니다. 하지만, Kafka Streams API 내에서 제공되는 windowing 기능과 같은 다른 방법론을 통해 비슷한 작업을 수행할 수 있습니다.
정리하자면, 스트림즈DSL을 사용하여 시간 기반의 인터벌 데이터 처리가 가능합니다. window 프로세싱은 스트림즈DSL이 제공하는 기능 중 하나로, 특정 인터벌 동안의 데이터를 효율적으로 처리할 수 있는 방법을 제공합니다. 따라서 강의에서의 언급은 스트림즈DSL의 디테일한 기능 제한을 지적한 것일 수 있으며, 큰 그림에서 볼 때 스트림즈DSL은 분명 인터벌 데이터 처리를 지원한다고 볼 수 있습니다.
consume 이후 lag가 줄어들지 않음
0
75
2
안녕하세요. 강의의 카프카 버전과 현재 시점의 카프카의 차이점 문의 드립니다.
0
118
2
멱등성 프로듀서 retries 관련 질문입니다.
0
99
2
채팅 서비스 개발 시 주의점이 있을까요?
0
100
2
충분히 큰 파티션 생성시 궁금증이 존재합니다.
0
88
2
KTable 키가 없는 레코드 처리
0
73
2
컨슈머 테스트 코드 작성
0
94
2
리밸런스 onPartitionRevoked이 필요한 상황
0
74
2
카프카 클러스터에서 감당 가능한 파티션(레플리카) 수 문의
0
120
2
reset offset 질문
0
77
2
KStreamJoinKTable 실행시 오류
0
78
2
auto.commit.interval.ms 옵션 관련 질문 드립니다.
0
142
2
파티션, 컨슈머 그룹, 컨슈머 관련 질문
0
117
1
java, kotlin
0
130
2
shutdownThread 에 대한 문의 입니다.
0
155
2
zookeeper실행시 오류가 발생합니다.
0
271
2
커스텀 소스 커넥터에서 Thread.sleep (1000) 은 왜 하는거에요?
0
153
2
처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요
0
181
3
파티션 개수와 컨슈머 개수의 처리량 관련 질문
0
164
2
동영상 및 이미지 처리 관련 문의 드립니다.
0
226
2
주키퍼 없이 사용 문의 드립니다.
0
303
1
kafka 를 띄우니 오류가 발생하고 종료합니다.
0
281
3
zookeeper 실행시 오류 .. 무엇을 해야 할까요?
0
220
2
파티션 추가로 해결할 수 있지만 늘어난 파티션은 줄일 수 없지 않나요?
0
192
2





