안녕하세요 kafka 동시요청 관련 문의 드립니다.
408
작성한 질문수 1
정상적으로 카프카를 동작 시키는 거까진 성공했는데 동시에 1000개씩 요청 을 하고싶은데 돼지않아 문의 드립니다.
props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapAddress);
props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, JsonDeserializer.class);
props.put(ConsumerConfig.REQUEST_TIMEOUT_MS_CONFIG, "10000");
props.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, 500);
props.put(ConsumerConfig.MAX_POLL_INTERVAL_MS_CONFIG, 10000);
ConcurrentKafkaListenerContainerFactory<String, Long> factory =
new ConcurrentKafkaListenerContainerFactory<>();
factory.setConsumerFactory(consumerFactory());
factory.setConcurrency(1000);
14만개의 CSV파일을 FOR문을 돌며 PRODUCER 로 계속 밀어넣고 컨슈머는 그값을 받아 처리하도록 하고싶은데
CONSUMER 가 동시에 처리되는게 너무 낮아 10건 정도씩 되고 있어 문의드립니다.
답변 0
service-discovery 프로세스 가동 이유
0
3
1
DLQ의 수동 커밋에 대해서 질문있습니다.
0
47
2
JWT토큰 발급 시, subject 값을 다양하게 넣어서 여러 개의 토큰을 만드는 이유
0
45
2
ansible playbook 오류
0
55
2
테스트 코드 작성 시 DTO 새로 작성하는 이유가 궁금합니다.
0
49
1
실습 환경 : 파이썬 3.10 관련 문의
0
53
2
rabbitmq에 configservice 연결에 대해 질문있습니다.
0
47
1
kafka 라이선스 오류 문제
0
55
2
Int 값들 null 처리
0
29
1
db table 관련질문
0
32
1
현업에서 prisma relationMode는 사용안하나요?
0
42
1
실무 내용 문의드려요
0
41
2
Kafka Cluster 구성도 질문
0
38
1
38강 클러스터에 컨트롤러 연결 질문
0
70
2
repartition 전후 persist 용량 차이가 나는 이유가 궁금합니다
0
63
1
@Version 어노테이션이 붙은 필드는 낙관적 락이든 비관적 락이든 업데이트가 됩니다.
0
76
1
MSA 환경에서의 카프카 공통 설정 관리
0
117
1
안녕하세요. kafka 실행중에 다음과같은 connection refused가 나는대 왜그런걸까요??
0
717
1
Hbase sink connector
0
329
1
여러 창 키고한번에 명령어 실행시키는 부분 어떻게 했는지 알려주실수잇을까요?
1
559
1
카프카 프로듀서, 컨슈퍼 속도
0
493
0
카프카 복구를 위한 offset 관련해서 질문이 있습니다.
1
325
0
책을 구매했는데 책에서는 zookeeper로 broker 클러스터링 내용이 안나오는걸까요?
0
374
0
controller와 leader의 차이점
0
273
0