kafka Consumer
389
작성한 질문수 2
Kafka를 사용하는 주된 이유 중 하나는 확실히 데이터 처리의 유연성과 부하 분산에 있습니다. Kafka를 활용함으로써, 많은 양의 이벤트(예: 쿠폰 발행 요청)를 바로 처리하지 않고 큐에 보관했다가, 시스템의 부하가 적은 시기에 또는 자원이 더욱 충분할 때 일괄적으로 처리할 수 있게 됩니다.
kafka 관련해서 다른 분 질문에 답글이 위처럼 달린 것을 확인했는데요.. 큐에 보관했다가 일괄적으로 처리를 할 수 있다고 했는데 그럼 컨슈머 listener 에 언제 카프카에 있는 이벤트를 받아서 처리할 것인지에 대한 설정을 할 수 있는 것인가요?
시스템 부하가 적은 시기나 자원이 충분할 때가 언제인지 어떻게 알고 처리를 하는지 궁금합니다.
답변 2
0
tete 님 안녕하세요.
Kafka 를 사용할 때 큐에 보관을 해놓았고 이벤트를 순차적으로 처리할 수 있습니다.
이러한 특성을 이용하여 100개의 요청을 한번에 하는것이 아닌 100번에 나누어서 할 수 있게됩니다.
또는, 100개의 요청을 적재만 해두고 이벤트가 모두 종료된 후 트래픽이 낮아졌을 때 컨슈머를 실행시켜 이벤트를 처리할수도 있습니다.
시스템 부하가 적은 시기나 자원이 충분할 때는 시스템 모니터링을 통해서 알 수 있습니다.
감사합니다.
0
안녕하세요, 인프런 AI 인턴입니다.
tete님의 질문에 대해 답변드리겠습니다. Kafka는 특정한 부하 상황이나 시스템 자원의 상태를 기반으로 자동으로 이벤트를 처리하도록 스케줄링하는 기능을 직접 제공하지 않습니다. 대신, Kafka를 사용하는 애플리케이션 또는 Kafka Streams 같은 클라이언트 라이브러리를 이용하여 개발자가 명시적으로 이런 처리를 구현해야 합니다.
예를 들어, Kafka Streams를 사용하면 스트림 처리를 위한 다양한 기능을 활용할 수 있는데, 이 때 애플리케이션의 상태 관리나 프로세싱 시간과 이벤트 타임을 구분하는 등의 처리를 통해 시스템의 리소스 상황에 맞춰서 조금 더 효과적으로 데이터를 처리할 수 있습니다. 하지만, 시스템 부하가 적은 시간을 자동으로 감지하고 그에 맞춰서 처리를 스케줄링하는 로직은 개발자가 직접 구현해야 합니다.
일반적으로 이벤트 처리 시기나 배치 처리의 타이밍은 애플리케이션의 비즈니스 로직, 시스템의 성능 모니터링 도구, 또는 외부 스케줄러 등을 통해 결정되며, Kafka 자체의 설정으로는 이를 직접 제어하기 어렵습니다.
자세한 내용은 Kafka Streams에 대해 더 알아보시길 추천드립니다.
URL: Kafka Streams Documentation
ApplyService와 Consumer서비스의 db공유?
0
54
2
consumer가 topic을 전부 사용하기 전에 사용자에게는 쿠폰이 발급된것으로 확인하는 과정에서 발생가능한 문제.
0
74
1
쿠폰에 관련되어서 좀 더 참고할만한 자료가 있을까요?
0
83
2
흐름정리 제가 이해한게 맞나요?
0
70
2
안되서 스트레스 받아요
-2
108
2
프로젝트 진행할때 모듈로 추가하는 이유가 궁금합니다!
0
183
2
Redis 활용하기 문제점 해결하기 부분이 이해가 잘 안됩니다...
0
213
1
카프카를 도입하고 난 뒤 로그로 보여지는 장점을 발견하지 못하고 있습니다.
0
167
2
키생성 방식에 따른 성능
0
166
2
사용자 동선에 대한 트랜잭션 문의
0
134
2
강사님 강의를 듣고 실제 프로젝트에서 이벤트 응모 시스템을 만들어 봤습니다.
0
209
1
쿠폰 발급 개수 제한
0
182
2
ApplyService 의 총 처리 시간이 궁금합니다.
0
154
1
쿠폰 생성 에러 처리에 관해서 질문이 있습니다.
0
224
2
마지막에 하신 테스트 자체는 실패하는 게 맞는거죠??
0
274
2
안녕하세요 질문 있습니다!
0
293
1
쿠폰 발급 유저 흐름에 대한 질문
0
307
2
수량 조절에 대한 질문이 있습니다.
0
230
2
kafka Producer 실행 중 에러 시 redis count 정합성 이슈
0
398
2
test 과정에서 오류가 발생합니다.
0
381
1
도커 환경설정에 대해서
0
268
2
Redis의 INCR 사용 해도 Race condition이 잡히지 않는 문제
0
594
1
consumer 모듈
0
322
2
카프카 토픽 생성오류
0
381
2





