sososo123123

혹시 git 자료 다시 받을수 있을까요 알려주신 git 주소로 보면 404 에러가 나서요 권한이 없는것 같아요

spark_kafka 실행시 java.lang.IllegalArgumentException 에러

네 volume으로 잡혀있는것을 확인하고 폴더를 지우고 도커컴포즈도 재시작 했습니다 ㅠ호스트와 포트를 바꾼 이유는 실제로 데이터가 이상해서 에러가 난지 확인하기 위함이었습니다. 에러문구나 강사님에 처음에 답변주신내용은 데이터가 기대했던거랑 다르다라는 내용이라고 하였으나, kafka <a target="_blank" rel="noopener noreferrer nofollow" href="http://consumer.sh">consumer.sh</a>로 실행해봤을 때 데이터에는 특이사항이 없었습니다. ㅠ 그래서 혹시 통신이 안됐는데 데이터가 이상하다고 에러 뱉는건 아닐까 의심이 들어 포트를 일부러 이상한 값을 넣어서 테스트 해본것입니다. 카프카랑 아예상관없는 포트를 넣어도 에러내용은 동일해, 데이터 이슈는 아닌것 같네요 ㅠㅠ kafka 호스트랑 포트는 read로 했을때 잘되서 통신도 아닌것 같구 다른설정문제일까요 ㅠ

그런데 이상하네요 read는 잘되는데 readStream만 안되서 ㅠ 아래처럼 kafka 포트 번호 나 호스트 다른걸로 넣어도 동일한 에러가 발생해서 kafka 토픽을 실제로 안보고 있는것 같아서요 <pre><code>events = (
 spark.readStream.format("kafka")
 .option("kafka.bootstrap.servers", "kafka:9092111")
 .option("subscribe", "quickstart")
 # .option("startingOffsets", "earliest")
 .load()
)
</code></pre>

빠륻답변감사합니다 도커컴포즈 자체를 재시작했는데도 동일합니다. 키프카에 topic을 생성하지 않고 실행햇을때 동일한 에러가 나는것으로보아 spark에서 카프카를 제대로 바라보고 있는지 의문이 드는데 확인할수있는방법 없을까요 ㅠ

sososo123123

Posts