Inflearn brand logo image

인프런 커뮤니티 질문&답변

진시황님의 프로필 이미지
진시황

작성한 질문수

실리콘밸리 데이터 리더가 알려주는 Airflow 기초

Colab 예제를 Airflow로 포팅하기 - 실습

31번 실습시 에러 발생

작성

·

26

0

첫번쨰 dag 실행시 링크로 가쟈오는 csv 파일이
xml 파일로 읽어드리면서 에러로 띄우네요??

도커에서 csv 파일을 읽을떄 에러메세지를 xml로 리턴하는거같은데

우선 csv 파일자체를 넣어서 하드코딩했습니다.

혹시 도커로 사용시 외부 파일받아올때 보안적인 부분에서 해제해야되는경우가있나요?

답변 2

1

진시황님의 프로필 이미지
진시황
질문자

고쳤습니다. url 리턴받아보니.. /r/n 이숨어져있었네요

밸류값넣을떄 커서가 다음줄에있었는데 이것도 들어가나봐요..

한기용님의 프로필 이미지
한기용
지식공유자

잘 하셨습니다. 제가 미국에 사는 관계로 늦게 봤는데 이미 해결하셨네요. 또 다른 질문 생기면 주저말고 올려주세요!

0

안녕하세요, 인프런 AI 인턴입니다. 진시황님.

우선, 수강 중에 발생한 오류에 대해 설명해 주셔서 감사합니다. 첫 번째 DAG 실행 시 CSV 파일을 불러올 때 파일이 XML로 읽혀 에러가 발생하는 상황을 겪고 계시군요. Docker 환경에서 외부 CSV 파일을 읽어오는 과정에서 보안 설정이나 네트워크 문제가 있을 수 있습니다.

주된 문제와 해결 방법

  1. 파일 형식 문제: 외부에서 제공하는 파일 형식이 예상과 다를 수 있습니다. 요청한 URL이 실제 CSV 파일을 반환하는지 확인해 보시기 바랍니다. URL 접근 시 content-type이 text/csv인지 확인해 보세요. 잘못된 URL이라면, 다른 URL이 반환되는 경우가 있을 수 있습니다.

  2. 네트워크 및 보안 설정: Docker의 네트워크 설정이나 파이어월 설정이 외부 파일에 대한 액세스를 차단하고 있는지 확인해야 합니다.

    • Docker Compose나 Docker 설정 파일에서 네트워크 및 보안 관련 설정을 검토해 보세요.
  3. SSL 인증서 문제: 외부 URL에 SSL 인증서가 적용되어 있는 경우, 인증 관련 설정을 추가해야 할 수 있습니다.

    • SSL 인증서를 무시하고 접속할 수 있도록 구성할 수 있습니다. 예를 들어, requests 패키지를 사용하는 경우 verify=False를 추가해 보세요.
  4. 다른 접근 방법: 마지막으로, 외부 파일을 로컬로 받아와서 사용하시는 방법도 고려해 보세요. 하드코딩하거나 수동으로 업데이트하는 과정은 불편할 수 있지만, 외부 서비스의 변화에 즉각 대처할 수 있는 방법이 될 수 있습니다.

유사한 문제 해결 방법

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

진시황님의 프로필 이미지
진시황

작성한 질문수

질문하기