kafka sink 생성 시 tasks state failed
1178
작성한 질문수 7
안녕하세요 강사님!
강의 잘보고 있습니다.
강의시간 18:58에 sink 생성 후 status 확인 값에서 tasks.state 값이 failed라고 뜹니다.
그래서 connect 로그를 보면 아래와 같이 뜹니다.
[2023-05-02 00:04:12,636] ERROR [my-order-sink-connect|task-0] WorkerSinkTask{id=my-order-sink-connect-0} Task threw an uncaught and unrecoverable exception. Task is being killed and will not recover until manually restarted (org.apache.kafka.connect.runtime.WorkerTask:196)
org.apache.kafka.connect.errors.ConnectException: Tolerance exceeded in error handler
at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execAndHandleError(RetryWithToleranceOperator.java:223)
at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execute(RetryWithToleranceOperator.java:149)
at org.apache.kafka.connect.runtime.WorkerSinkTask.convertAndTransformRecord(WorkerSinkTask.java:516)
at org.apache.kafka.connect.runtime.WorkerSinkTask.convertMessages(WorkerSinkTask.java:493)
at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:332)
at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:234)
at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:203)
at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:189)
at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:244)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
Caused by: org.apache.kafka.connect.errors.DataException: JsonConverter with schemas.enable requires "schema" and "payload" fields and may not contain additional fields. If you are trying to deserialize plain JSON data, set schemas.enable=false in your converter configuration.
at org.apache.kafka.connect.json.JsonConverter.toConnectData(JsonConverter.java:328)
at org.apache.kafka.connect.storage.Converter.toConnectData(Converter.java:88)
at org.apache.kafka.connect.runtime.WorkerSinkTask.lambda$convertAndTransformRecord$4(WorkerSinkTask.java:516)
at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execAndRetry(RetryWithToleranceOperator.java:173)
at org.apache.kafka.connect.runtime.errors.RetryWithToleranceOperator.execAndHandleError(RetryWithToleranceOperator.java:207)
... 13 more
구글링 해봐도 원하는 답변들이 없어 남겨봅니다.
답변 2
0
추가적으로 spring 단에서는 별다른 에러는 없습니다.
kafka-console-consumer로 orders topic 로그를 보면 정상적으로 나옵니다.
다만 db에 데이터가 적재가 안되는데 connector에 tasks가 작동 중이 아니라 그런 것 같습니다.
장애 격리 관련해서 궁금한 부분이 있어요
0
63
2
Inner class로 Config를 지정하는 이유
0
64
2
service-discovery 프로세스 가동 이유
0
86
2
rabbitmq에 configservice 연결에 대해 질문있습니다.
0
112
1
kafka 업데이트 강의 듣고 시포요
0
187
2
강의 교안
0
160
2
마이크로서비스간 통신 시, 인증 처리
0
173
2
api gateway 에서 인증 처리
0
115
1
섹션 19 질문드립니다
0
136
2
강의 자료 업데이트
0
152
2
부하분산 강의 섹션
0
103
1
강의자료는 어디에서?
0
140
2
강의 자료는 어디서 다운 받을 수 있나요?
0
184
2
전체 사용자 조회시 오류
0
96
1
혹시 pk 외 별도의 id 를 부여한 이유가 있을까요 ??
0
179
2
학습 방향
0
154
2
카프카 커넥터 사용 목적 문의
0
141
2
kafka 강의
0
168
2
서비스 디스커버리 종류
0
131
2
강의 자료에 대해서 궁금해요
0
183
2
GlobalFilter, LoggingFilter가 동작하지 않습니다.
0
151
2
Kafka Source Connect 버전 에러
0
146
2
소스커넥터는 사용안한 거 맞죠?
0
137
2
강의자료 업데이트 문의
0
132
2





