카프카 에러메시지 삭제에 관해 질문이 있습니다.
446
작성한 질문수 1
안녕하세요, 처음 질문을 남겨보는것 같은데, 우선 강사님 강의에서 정말 많이 배우고 있습니다.
제가 강의를 듣고 따라하던중 Schema의 Field datatype을 string으로 적어야 하는데 String으로 잘못 적은 문제가 있었습니다. 이때 발생한 에러 메시지들이 topic에 쌓여서 지속적으로 문제가 발생했어서 topic의 메시지는 kafka-topic.sh에 retention.ms를 짧게 바꿨다가 늘리는 방법으로 해결을 했습니다.
질문드리는 내용은
1. 혹시 이와같이 kafka 작업중 에러로인해 잘못된 메시지가 쌓일경우, 이것을 처리하는 방법이 위의 방법이 가장 나은지(해결하지 않으니 잘못된 메시지들을 불러오면서 계속 에러를 발생시키더라구요)
2. 두번째로는 이러한 에러메시지들이 kafka connect에도 쌓여서 서버 기동시마다 에러메시지를 쭈욱 불러옵니다. 가동에는 문제가 없으나, 혹시 깔끔하게 정리할 수 있는 방법이 있으면 알려주시면 감사하겠습니다.
좋은 강의 해주셔서 감사드립니다.
답변 1
0
안녕하세요, 이도원입니다.
retention.ms를 설정했다는 것은 로그 파일이 삭제되기 전에 보관되는 시간을 설정 하셨다는 거네요. 기존의 로그파일을 유지하면서, 새로 생성되는 메시지에 매번 같은 작업을 하시는 것보다는, 로그파일을 삭제하시고, 새로 생성하는 것이 어떨까 싶습니다. 강의에서 말씀드린 것 처럼 macos나 linux에서는 topic을 삭제하고 새로 생성할수 있지만, windows에서는 topic 삭제시 오류가 발생해서, 일일이 필요한 kafka 로그와 zookeeper 로그를 삭제하기가 어려우면 전체 로그를 삭제하고 다시 실행하셔야 할 것 같습니다.
감사합니다.
kafka 업데이트 강의 듣고 시포요
0
114
2
강의 교안
0
105
2
마이크로서비스간 통신 시, 인증 처리
0
114
2
api gateway 에서 인증 처리
0
76
1
섹션 19 질문드립니다
0
84
2
강의 자료 업데이트
0
105
2
부하분산 강의 섹션
0
65
1
강의자료는 어디에서?
0
98
2
강의 자료는 어디서 다운 받을 수 있나요?
0
131
2
전체 사용자 조회시 오류
0
65
1
혹시 pk 외 별도의 id 를 부여한 이유가 있을까요 ??
0
120
2
학습 방향
0
105
2
카프카 커넥터 사용 목적 문의
0
90
2
kafka 강의
0
117
2
서비스 디스커버리 종류
0
90
2
강의 자료에 대해서 궁금해요
0
125
2
GlobalFilter, LoggingFilter가 동작하지 않습니다.
0
94
2
Kafka Source Connect 버전 에러
0
95
2
소스커넥터는 사용안한 거 맞죠?
0
84
2
강의자료 업데이트 문의
0
99
2
강의에서 BCryptPasswordEncoder 에 역할(5-2)
0
63
1
강의 업데이트 계획이 궁금합니다.
0
120
2
MSA 애플리케이션에 Spring Web과 Spring Data JPA를 사용하는 것이 바람직한지 궁금합니다. (MSA 설계와 관련된 질문입니다)
0
168
2
어떤 것이 업데이트 된 건가요?
0
169
2