인프런 커뮤니티 질문&답변
작성한 질문수
계속 csv파일을 폴더로 인식하는 중입니다.
작성
·
20
·
수정됨
답변 2
0
먼저 수행 하실 때 Connector log에 오류나 별도의 다른 메시지가 있는지 확인 부탁드립니다. 강의의 실습 스크립트대로 동일하게 적용했는데, 여전히 동일한 문제가 발생하시면 아래 영상을 통해서 실습 환경을 완전히 초기화 해보시고 다시 수행 부탁드립니다.
섹션 4의 49. <중요 - 스킵하지 마세요> Kafka 실습 환경 전체 초기화 하기
그리고 "에러문제없이 mssql 즉 sql-server로 debezium관련해서 소스커넥터만 이용해서 하는 작업" 이 어떤 것을 의미하시는지요? 구체적으로 생각하시는 workflow를 기재해 주십시요.
일단 debezium server를 사용하면 Kafka로 데이터를 보내지 않아도 target 쪽에 연동 시킬 수는 있습니다. 가능한 Sink type은 아래 문서에서 Sink Configuration 부분을 살펴보십시요.
https://debezium.io/documentation/reference/stable/operations/debezium-server.html
감사합니다.
[2025-12-09 08:07:22,523] ERROR [csv_spooldir_source|task-0] Failed to delete input.path sub-directory: /home/debeziumTest/spool_test_dir/test-01.csv (com.github.jcustenborder.kafka.connect.spooldir.InputFile:240)
세가지의 생각 1. 폴더로 인식하는가했을때파일인걸로 확인되어졌습니다 ,
2. spooldir_source.json 정규화과정은 그대로사용하는것같아서 문제없어보입니다.
3. 권한 관련문제일까입니다
이 에러는 뭔가요?
이전 에러와 관련된 사항인가요? 아님 실습 환경을 초기화 하고, 새롭게 다시 수행하면서 발생한 건가요?
delete 오류면 /home/debeziumTest/spool_test_dir/test-01.csv 파일을 다 삭제하고, 실습 환경 초기화 후 다시 수행 해 보십시요.
0
안녕하세요, 인프런 AI 인턴입니다.
gimhansu님의 질문을 들어보니, Kafka에서 csv 파일을 폴더로 잘못 인식하는 문제가 발생한 것 같습니다. 이런 문제는 주로 파일 경로나 설정 문제로 인해 발생할 수 있는데요, 특히 Kafka 스풀 디렉토리 커넥터를 사용하는 경우에 흔히 나타납니다.
아래에 관련된 비슷한 문제를 겪은 질문과 해결책 정보를 정리하여 안내드립니다:
질문: “databricks에 폴더 생성 및 신규 데이터 업로드” - 디렉토리 구조 및 파일 업로드 관련된 부분에서 발생할 수 있는 문제점과 해결 방법에 대한 가이드를 포함하고 있습니다.
질문: “초기화 진행 후 카프카 구동이 안됩니다.” - Kafka 설정이 원인일 수 있습니다. 경로 설정 및 파일 위치 확인과 같은 초기화 문제를 다루고 있습니다.
문제 해결을 위해 다음 사항을 확인해보시면 좋겠습니다:
1. 파일 경로 및 이름 확인: csv 파일이 잘못된 디렉토리에 있거나, 파일 이름이 잘못 설정되어 있을 수 있습니다. 정확한 위치와 파일명을 확인해주세요.
Kafka Connector 설정 확인: 설정 파일 내의
input.path,input.file.pattern등을 확인하여, 파일을 정확하게 인식하도록 설정되어 있는지 검토해보세요.Kafka 및 Connector 버전 검사: 사용하시는 Kafka 버전이나 SpoolDir Connector 버전이 강의와 다른지 확인해보세요. 버전 차이로 인해 설정 차이가 있을 수 있습니다.
링크된 질문들에서 다양한 설정 관련 정보를 얻을 수 있습니다. 추가적인 해결이 필요하시거나 설정 후에도 문제가 지속된다면, 계속해서 질문 남겨주시기 바랍니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
네 문제가 해결이 안되엇습니다
debeziumTest 라는 사용자의 /home/debeziumTest경로에서
/home/debeziumTest/spool_test_dir 여기에 test-01.csv 를 넣었고 두개의 폴더 확인했습니다.
drwxrwxrwx 2 debeziumTest debeziumTest 6 Dec 9 08:07 error
drwxrwxrwx 2 debeziumTest debeziumTest 6 Dec 9 08:07 finished
/home/debeziumTest/connector_configs 이경로에가서
cat spooldir_source.json
{
"name": "csv_spooldir_source",
"config": {
"tasks.max": "3",
"connector.class": "com.github.jcustenborder.kafka.connect.spooldir.SpoolDirCsvSourceConnector",
"input.path": "/home/debeziumTest/spool_test_dir",
"input.file.pattern": "^.*\\.csv$",
"error.path": "/home/debeziumTest/spool_test_dir/error",
"finished.path": "/home/debeziumTest/spool_test_dir/finished",
"empty.poll.wait.ms": 30000,
"halt.on.error": "false",
"topic": "spooldir-test-topic",
"csv.first.row.as.header": "true",
"schema.generation.enabled": "true",
"key.field": "id"
}
}
확인했고 이거에대해서 http POST http://localhost:8083/connectors @spooldir_source.json등록은 이런식으로 작업했습니다.
작업이끝나면 finished안에 test-01.csv 폴더가생기고 그다음파일이생기는데 이걸맞다고봐야하는지 부분
그리고 에러문제없이 mssql 즉 sql-server로 debezium관련해서 소스커넥터만이용해서 하는 작업이 가능할까요?? 목적은 mssql에서 insert,update,delete connector등록하면 c,u,d 같은 식으로 나올것같은데 이걸로 kafkaconnect말고 다른 방식으로 할수있을것같아서여쭤보았습니다. 근데 이런식으로 작업하면 kafkaconnect에서 제공하는 api 를 사용못할것같아서요