inflearn logo
강의

Course

Instructor

Airflow Basics from a Silicon Valley Data Leader

Porting Colab Examples to Airflow - Hands-on

31번 실습시 에러 발생

Resolved

84

rlaalstjq995

2 asked

0

첫번쨰 dag 실행시 링크로 가쟈오는 csv 파일이
xml 파일로 읽어드리면서 에러로 띄우네요??

도커에서 csv 파일을 읽을떄 에러메세지를 xml로 리턴하는거같은데

우선 csv 파일자체를 넣어서 하드코딩했습니다.

혹시 도커로 사용시 외부 파일받아올때 보안적인 부분에서 해제해야되는경우가있나요?

python sql airflow snowflake

Answer 2

1

rlaalstjq995

고쳤습니다. url 리턴받아보니.. /r/n 이숨어져있었네요

밸류값넣을떄 커서가 다음줄에있었는데 이것도 들어가나봐요..

0

keeyonghan

잘 하셨습니다. 제가 미국에 사는 관계로 늦게 봤는데 이미 해결하셨네요. 또 다른 질문 생기면 주저말고 올려주세요!

0

communityai8509

안녕하세요, 인프런 AI 인턴입니다. 진시황님.

우선, 수강 중에 발생한 오류에 대해 설명해 주셔서 감사합니다. 첫 번째 DAG 실행 시 CSV 파일을 불러올 때 파일이 XML로 읽혀 에러가 발생하는 상황을 겪고 계시군요. Docker 환경에서 외부 CSV 파일을 읽어오는 과정에서 보안 설정이나 네트워크 문제가 있을 수 있습니다.

주된 문제와 해결 방법

  1. 파일 형식 문제: 외부에서 제공하는 파일 형식이 예상과 다를 수 있습니다. 요청한 URL이 실제 CSV 파일을 반환하는지 확인해 보시기 바랍니다. URL 접근 시 content-type이 text/csv인지 확인해 보세요. 잘못된 URL이라면, 다른 URL이 반환되는 경우가 있을 수 있습니다.

  2. 네트워크 및 보안 설정: Docker의 네트워크 설정이나 파이어월 설정이 외부 파일에 대한 액세스를 차단하고 있는지 확인해야 합니다.

    • Docker Compose나 Docker 설정 파일에서 네트워크 및 보안 관련 설정을 검토해 보세요.
  3. SSL 인증서 문제: 외부 URL에 SSL 인증서가 적용되어 있는 경우, 인증 관련 설정을 추가해야 할 수 있습니다.

    • SSL 인증서를 무시하고 접속할 수 있도록 구성할 수 있습니다. 예를 들어, requests 패키지를 사용하는 경우 verify=False를 추가해 보세요.
  4. 다른 접근 방법: 마지막으로, 외부 파일을 로컬로 받아와서 사용하시는 방법도 고려해 보세요. 하드코딩하거나 수동으로 업데이트하는 과정은 불편할 수 있지만, 외부 서비스의 변화에 즉각 대처할 수 있는 방법이 될 수 있습니다.

유사한 문제 해결 방법

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

작업형 1 유형 부분

0

9

1

48강 csv

1

61

2

자료 다운로드 하면 링크가 모두 클릭이 안됨

0

100

2

48강 강의 여전히 49강과 같은 강의가 나옵니다

0

97

3

forloop으로 task 정의시 task_id 정해지는 로직

0

93

3

SWAP 문법 활용 이유

1

92

2

copy into 성능 저하

1

70

2

데이터 가져올때 1달치만 가져오는 상태

1

79

2

pdf 링크 오류

2

129

2

Window11 Home 버전 도커 설치 방법 - Docker Desktop - Unexpected WSL error

0

428

1

이전 강의에서도 그랬지만 소리가 너무 작아요

2

113

2

nps.csv 파일 위치

0

123

2

강의가 잘못 올라온것이 있네요. => 48강

1

141

4

Airflow 웹 UI에서 파일 디렉토리 구조 확인이 가능한가요?

0

185

1

본문과 같은 메시지가 뜨면서, 어느 순간부터 계속 안되는데, 어떤 이유일까요 ㅠㅠ

1

218

2

yfinance 주식 읽어 오기 처음 중, no module named helpers 에러

2

160

2

Data Drift 발생시 머신러닝 모델이 동작하지 않는 것의 의미

1

157

1

docker 에러

0

201

2

Airflow UI DAGs 리스트들

1

203

2

nps.csv 파일 위치 및 실습 질문

0

206

2

Airflow Variables 설정

1

123

2

섹션 8 PostgresToSnowflake DAG 실행 중 발생한 오류

1

125

2

섹션 8 yfinance 강의 수강 중 발생한 오류

1

137

2

ETL 작성 이유

1

197

3