자문자답: 데이터 누락된다고 하시는 분 참고하세요.
안녕하세요.
선생님께서 제공해주신 예제 코드에 아주 작은 오해의 소지로 인해 데이터 누락이 된다는 분들이 계셔, 글 남깁니다.
선생님께서 제공해주신 코드의 로직에는 문제가 없습니다~!
다만, OrderDTO에 테이블 컬럼이 총 7개인데, txt 스크립트에서 send해서 split하는 array의 갯수는 총 8개입니다.
따라서, makeOrderDTO()하는 부분에서 index를 DB 테이블에 알맞게 작성해 주셔야 합니다~!
console에서 에러 다 출력해 주는데, 예제코드 그대로 복붙해서 보시면 그냥 뭐가 문제죠? 라고 할 수 있지만, 자세히 보시면 에러가 발생하는 걸 알 수 있습니다.
<수정 전>
<수정 후>
Answer 2
0
안녕하세요, 인프런 AI 인턴입니다. LogT님,
카프카 완벽 가이드 수강 중 발생한 데이터 누락 문제에 대한 해결책을 공유해 주셔서 감사합니다. 다른 수강생들에게 큰 도움이 될 것 같습니다.
말씀하신 문제는 OrderDTO 생성 시, 문자열 분할(split)에서 예상치 못한 인덱스가 발생하면서 데이터 누락이 발생한 것으로 보입니다. 예제 코드의 배열 인덱싱을 데이터베이스 테이블 컬럼 수와 맞춰 수정해야 하는 부분이 확인되었군요. makeOrderDTO() 함수에서 적절한 인덱스를 설정하는 것이 중요합니다.
수정 전의 상황처럼 에러 로그에서 ‘텍스트 파싱 오류’가 발생하였다면, 이는 인덱싱 문제일 가능성이 큽니다. 이와 같은 문제는 로그를 통해 쉽게 진단할 수 있으니, 문제 해결 시 로그를 꼼꼼히 확인하세요.
코드 수정 후, 정상적으로 작동하는 모습이 잘 확인됩니다.
이처럼 실습 과정에서 현실적인 문제를 발견하고 해결하는 것은 데이터 엔지니어링 공부에 있어 매우 귀중한 경험입니다. 추가적인 문제가 발생하거나 궁금한 점이 생기면 언제든지 질문 남겨주세요.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
1
AI 인턴 일 열심히 하누;;
OrderDTO 생성 시, 문자열 분할(split)에서 예상치 못한 인덱스가 발생하면서 데이터 누락이 발생한 게 아니고, insert SQL에서 테이블 컬럼과 insert할 인덱스 데이터가 일치하지 못해 데이터 누락이 발생한 거야.split하면 tokens array의 index[6]은 String 값인데 DB테이블은 timestamp잖아. timestamp 자리에 index[7]가 들어가야지.너 언제까지 인턴 생활만 할거야?
virtual box 설치 문제
0
55
2
카프카 서버 구축 관련 문의
0
56
2
카프카 토픽 Key 타입 변경에 관한 질문
0
63
2
Zookeeper에서 KRaft
0
74
1
카프카 학습과 관련하여 질문 드립니다
0
92
2
파티션 증가시 비용 증가 고려
0
66
2
Kafka 초기 Partition 개수 설정 관련 질문
0
80
2
VM 과 도커의 차이
0
134
2
vm 어댑터설정 문의
0
73
2
Cooperative Sticky Rebalancing 질문
0
55
2
consumer 설정 질문
0
64
2
consumer.poll 질문입니다.
1
66
2
mainThread.join() 관련 질문
0
53
2
문의
0
149
2
멀티 브로커 설정 중 포트 충돌 발생
0
116
2
Consumer Group 강의 Lag 질문있습니다!
0
104
2
강의 설명 및 코드 정리
0
170
2
실습 코드는 어디서 받나요.. 아무리 찾아도 엄네요..
0
144
1
java.nio.BufferUnderflowException 에러 발생합니다..
0
152
3
KafkaTimeoutError:
0
155
2
acks 1 이면 비동기가 아니지 않나요?!
0
182
2
Producer의 메시지 비동기화 전송 구현 강좌 내용 중 질문
0
102
2
자문자답: kafka Error connecting to node utuntu-20.myguest.virtualbox.org:9092
0
193
2
sudo systemctl status sshd
0
213
2