kafka를 왜 사용하는지가 잘 이해가 안가서 질문 남깁니다!

명확하지 않은 질문에도 답변해주셔서 감사합니다. 질문을 잘 하지 못해 죄송하네요. 카프카에 대해 공부를 좀 더 하고 질문을 드렸어야 했다는 생각이 듭니다.

답변해주신 내용을 보고, 카프카에 대해 찾아봐서 지금은 해소가 됐습니다. 감사합니다.

카프카 자체가 요청을 모았다가 한꺼번에 처리한다기 보다는 db에 부하를 조절하기 위해 사용한것이며, 다양한 설정을 통해 처리량이나 속도 등을 조절할 수 있다고 이해했습니다.

(안읽으셔도 되는 부분)

제가 했던 질문의 의도에 대한 설명

2. 와 3.은 카프카 용도 자체를 100개씩 배치처리 하면서 속도를 조절하기 위함으로 오인하고 한 질문이었습니다. 그래서 100개씩 요청을 모아서 보낸다는 전제를 깔고 있습니다.

2.의 경우는

<강의의 apply 메서드 부분>

public void apply(Long userId) {
        // 1) redis의 set에 id 추가
        Long apply = appliedUserRepository.add(userId);

        // 2) 검증 : set에 중복이 있다면 return
        if (apply != 1) {
            return;
        }
        
        // 3) incr 연산
        Long count = couponCountRepository.increment();

        // 4) 검증 : incr 값을 체크하여 100 초과시 return
        if (count > 100) {
            return;
        }

        // 5) 모든 검증 통과 시 kafka producer로 send
        couponCreateProducer.create(userId);

        //-------------------------------------------
        // @제가 추가한 코드 : "5)" 대신 이렇게 쓰는 것과 차이가 무엇인가요?
        Set<Integer> redisSet = appliedUserRepository.getRedisSetBySize(100);
        couponRepository.save(redisSet);
}

• 강의와 동일한 방식으로 producer로 전송해서 db에 저장하는 것

• 5)처럼 producer를 쓰지 않고 @부분을 추가해서 100개마다 db에 저장하는 것

   

사실은 이 두 가지가 무슨 차이인지 질문이었고, 결국에는 카프카의 역할 자체를 여쭤보려고 한 의도였습니다.

3.의 경우는 요청 100개가 모였다고 가정했을때, consumer에서 100개씩 그것을 처리할터인데..? 라는 생각을 했습니다. 그렇다에 consumer 자체에서 어떤식으로 데이터를 처리하는지(강의의 listener 메서드를 어떻게 구현하는지)가 궁금했습니다.

db에 저장하기 전에 100개의 데이터는 어디에 임시저장을 하나요? 이 부분은 listener 메서드에서 (100개의) 요청을 각각 받아온다음, 이 데이터를 어디에 유지하고 있다가 db에 저장을 시키는지에 대한 질문이었습니다.