인프런 커뮤니티 질문&답변

정상적으로 카프카를 동작 시키는 거까진 성공했는데 동시에 1000개씩 요청 을 하고싶은데 돼지않아 문의 드립니다.

props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapAddress);
props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, JsonDeserializer.class);
props.put(ConsumerConfig.REQUEST_TIMEOUT_MS_CONFIG, "10000");
props.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, 500);
props.put(ConsumerConfig.MAX_POLL_INTERVAL_MS_CONFIG, 10000);

ConcurrentKafkaListenerContainerFactory<String, Long> factory =
        new ConcurrentKafkaListenerContainerFactory<>();
factory.setConsumerFactory(consumerFactory());
factory.setConcurrency(1000);

14만개의 CSV파일을 FOR문을 돌며 PRODUCER 로 계속 밀어넣고 컨슈머는 그값을 받아 처리하도록 하고싶은데

CONSUMER 가 동시에 처리되는게 너무 낮아 10건 정도씩 되고 있어 문의드립니다.