inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)

Kafka Source Connect 사용

my_topic_users 가 자동으로 생성되지 않을때

685

최재영

작성한 질문수 8

0

아.. 설정 뭔가 잘 안되어서 계속 빠꾸를 했었네요 ^^;;;

 

 

혹시라도 저처럼 db insert 시 자동으로 topic이 생성 되지 않으시는분들은

{
    "name": "my-source-connect",
    "config": {
        "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
        "connection.url": "jdbc:mysql://localhost:3306/mydb",
        "connection.user": "root",
        "connection.password": "passw0rd",
        "mode": "incrementing",
        "incrementing.column.name": "id",
        "table.whitelist": "users",
        "topic.prefix": "my_topic_",
        "tasks.max": "1",
        "poll.interval.ms" : 10000,
        "topic.creation.default.replication.factor":1,
        "topic.creation.default.partitions" : 1

    }
}

해당 두줄을 넣어 주시면 자동으로 생성이 됩니다 ^^;;

 "topic.creation.default.replication.factor":1,
 "topic.creation.default.partitions" : 1

spring-boot jpa 아키텍처 spring-cloud kafka msa

답변 3

1

Dowon Lee

안녕하세요, 이도원입니다.

정보 공유 감사드립니다.

무더운 여름 좋은 하루 되세요.

1

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴이에요.

소스코드를 보면, Confluent의 JdbcSourceConnector를 사용하여 데이터베이스로부터 데이터를 가져와 Kafka 토픽에 적재하는 작업을 하시는 것 같습니다.
문제점을 알려주셔서 감사합니다. “topic.creation.default.replication.factor”와 “topic.creation.default.partitions” 두 가지 설정을 추가하면 원하시는대로 topic이 자동으로 생성될 것입니다.

하지만 이 설정은 Confluent 플랫폼에 기반한 Kafka Connect에만 적용되는 설정이기 때문에, 직접 실행하시는 Kafka Connect에는 이 설정이 작동하지 않을 수도 있습니다. 그럴 경우, 직접 토픽을 수동으로 생성하셔야 합니다.

추가적으로, replication factor(복제 팩터)와 partition(파티션) 수는 클러스터 설정에 따라 다르게 설정하는 것이 좋습니다. 이 설정은 Kafka 클러스터 설정 및 운영 가이드를 참고해주시기 바랍니다.

더 도움이 필요하시다면 언제든지 물어보세요. 좋은 하루 되세요!

0

아이티엔제이ITNJ

혹시나 connect 업데이트 방법을 찾으시는 분이 있따면 공식문서에서 방법이 나와있습니다 : ]

https://docs.confluent.io/platform/current/connect/references/restapi.html

삭제->등록
또는
업데이트
를 하시면 됩니다.

kafka 업데이트 강의 듣고 시포요

0

83

1

강의 교안

0

71

1

마이크로서비스간 통신 시, 인증 처리

0

79

1

api gateway 에서 인증 처리

0

64

1

섹션 19 질문드립니다

0

51

1

강의 자료 업데이트

0

81

1

부하분산 강의 섹션

0

56

1

강의자료는 어디에서?

0

69

1

강의 자료는 어디서 다운 받을 수 있나요?

0

109

1

전체 사용자 조회시 오류

0

57

1

혹시 pk 외 별도의 id 를 부여한 이유가 있을까요 ??

0

108

2

학습 방향

0

94

2

카프카 커넥터 사용 목적 문의

0

85

2

kafka 강의

0

106

2

서비스 디스커버리 종류

0

86

2

강의 자료에 대해서 궁금해요

0

115

2

GlobalFilter, LoggingFilter가 동작하지 않습니다.

0

89

2

Kafka Source Connect 버전 에러

0

83

2

소스커넥터는 사용안한 거 맞죠?

0

81

2

강의자료 업데이트 문의

0

94

2

강의에서 BCryptPasswordEncoder 에 역할(5-2)

0

56

1

강의 업데이트 계획이 궁금합니다.

0

111

2

MSA 애플리케이션에 Spring Web과 Spring Data JPA를 사용하는 것이 바람직한지 궁금합니다. (MSA 설계와 관련된 질문입니다)

0

160

2

어떤 것이 업데이트 된 건가요?

0

162

2