-
카테고리
-
세부 분야
데이터 엔지니어링
-
해결 여부
미해결
안녕하세요 kafka 동시요청 관련 문의 드립니다.
21.05.03 17:08 작성 조회수 248
0
정상적으로 카프카를 동작 시키는 거까진 성공했는데 동시에 1000개씩 요청 을 하고싶은데 돼지않아 문의 드립니다.
props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapAddress);
props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, JsonDeserializer.class);
props.put(ConsumerConfig.REQUEST_TIMEOUT_MS_CONFIG, "10000");
props.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, 500);
props.put(ConsumerConfig.MAX_POLL_INTERVAL_MS_CONFIG, 10000);
ConcurrentKafkaListenerContainerFactory<String, Long> factory =
new ConcurrentKafkaListenerContainerFactory<>();
factory.setConsumerFactory(consumerFactory());
factory.setConcurrency(1000);
14만개의 CSV파일을 FOR문을 돌며 PRODUCER 로 계속 밀어넣고 컨슈머는 그값을 받아 처리하도록 하고싶은데
CONSUMER 가 동시에 처리되는게 너무 낮아 10건 정도씩 되고 있어 문의드립니다.
답변을 작성해보세요.
답변 0