무료
다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 미해결[데브원영] 아파치 카프카 for beginners
Hbase sink connector
안녕하세요강의 다 잘들었습니다.처음 만들어보는중인데 최종목표는 PostgreSQL과같은 rdb의 데이터를CDC로Apache atlas로 표현하기 위해 Hbase로 전달하고싶은게 목표입니다 Hbase sink connector를 검색해도 잘안나와서 가능한지와 json으로 어떻게 변환해서 넣어야하느지 궁금합니다
- 미해결[데브원영] 아파치 카프카 for beginners
여러 창 키고한번에 명령어 실행시키는 부분 어떻게 했는지 알려주실수잇을까요?
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
- 미해결[데브원영] 아파치 카프카 for beginners
카프카 프로듀서, 컨슈퍼 속도
안녕하세요! 여기에 질문을 올려도 괜찮을지.. ㅠ-ㅠ 궁금한게 있습니다. 프로듀서쪽에서 데이터를 무수히 많이 계속 계속 쉴틈없이 계속 토픽, 파티션에 넣어준다면 컨슈머입장에서는 좀 더 느리게 하나하나 읽어가서 가공을 한다고 생각해보면 계속 lag의 차이가 점점 엄청 커지고 딜레이가 넓어질텐데 이런 경우에는 어떻게 처리를 해야하는걸까요? 파티션을 늘려서 데이터를 좀 더 분산시키고 컨슈머 그룹에 컨슈머를 좀더 늘려서 좀 더 빠르게 처리르 해야하는걸까요?
- 미해결[데브원영] 아파치 카프카 for beginners
카프카 복구를 위한 offset 관련해서 질문이 있습니다.
먼저 좋은 강의 감사드립니다. 카프카 도입을 위해서 학습중인데 책과 더불어 강의가 큰 도움이 되네요. 강의를 듣다보니 궁금한 점 하나가 생겨서 문의를 남깁니다. Consumer의 경우 연결이 끊어져도 offset 위치를 기억하고 있기 때문에 해당 offset 부터 읽어올 수 있어서 데이터 유실을 막을 수 있는 것으로 설명해주셨는데요. 만약에 Consumer 엔진이 비정상적으로 종료되고 재기동이 되었을 때에도 유실된 시점 offset 부터 읽어 올 수 있는 건가요? 해당 offset에 대한 위치 기억은 kafka에서 하는 것인지? 명확하게 이해하고 싶어서 질문드립니다. 감사합니다.
- 미해결[데브원영] 아파치 카프카 for beginners
책을 구매했는데 책에서는 zookeeper로 broker 클러스터링 내용이 안나오는걸까요?
여기 강의에서는 broker를 여러개 만들어 클러스터링 하는 내용이나오는데. 책에서는 이로만나오고 실제로 내용은 안나오는것 같아서요. 책내용을 따라하면서 클러스터를 구성해서 따라해도 괜찮은건가요?
- 미해결[데브원영] 아파치 카프카 for beginners
안녕하세요 kafka 동시요청 관련 문의 드립니다.
정상적으로 카프카를 동작 시키는 거까진 성공했는데 동시에 1000개씩 요청 을 하고싶은데 돼지않아 문의 드립니다. props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapAddress);props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, JsonDeserializer.class);props.put(ConsumerConfig.REQUEST_TIMEOUT_MS_CONFIG, "10000");props.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, 500);props.put(ConsumerConfig.MAX_POLL_INTERVAL_MS_CONFIG, 10000); ConcurrentKafkaListenerContainerFactory<String, Long> factory = new ConcurrentKafkaListenerContainerFactory<>();factory.setConsumerFactory(consumerFactory());factory.setConcurrency(1000); 14만개의 CSV파일을 FOR문을 돌며 PRODUCER 로 계속 밀어넣고 컨슈머는 그값을 받아 처리하도록 하고싶은데 CONSUMER 가 동시에 처리되는게 너무 낮아 10건 정도씩 되고 있어 문의드립니다.
- 미해결[데브원영] 아파치 카프카 for beginners
controller와 leader의 차이점
안녕하세요! kafka 설치경로의 logs 파일들을 보다가 궁금한 점이 있어서 남깁니다. controller 관련 로그가 있던데요. 찾아보니 broker들중 하나가 controller가 되는것같더라구요. broker 하나가 leader 역할도 하는데, 이 controller와의 차이점이 명확하지않아서 문의드립니다. 감사합니다!