172만명의 커뮤니티!! 함께 토론해봐요.
미해결
Airflow 마스터 클래스
- connection 설정 - password authentication failed for user "xnaud" docker-compose.yaml 파일 설정 dags코드 이렇게 설정했는데 dags를 실행 시 password authentication failed for user "xnaud" 라는 메세지가 계속 뜨고 있습니다 ㅠ 혹시 원인이 뭘까요?
미해결
실리콘밸리 엔지니어와 함께하는 Apache Airflow
docker on window를 사용하고 있습니다. docker 에 airflow를 올리면, 자체적으로 postgres db 가 올라가는데요. 강의 8:05 에서 말씀하시는게 이것인듯 한데요. 이것과 dbeaver를 연결하려고 하면 에러가 납니다. docker yaml 파일에 나와있는대로 host : localhost ( 이것을 host.docker.internal 로 바꾸어도 같은 에러가 납니다) database: airflow username : airflow password: airflow 으로 하고 테스트 커넥션을 하면 아래와 같은 에러가 납니다. 별도로 postgres db를 만들어서 연결하는 건 정상적으로 되는데, 왜 airflow 자체적으로 만들어지는 postgres db에 접속하는것만 오류가 나는 것일까요? 이 db에 접속을 해야 강의 8:09에 보이는 각종 table 들에 접근이 가능한 것 같은데요
미해결
Airflow 마스터 클래스
이전까지는 도커 서비스를 잘 수행이 됐었습니다. 이번 강의에서 docker-compose.yaml파일을 수정 후 서비스를 내렸다가 다시 올리려고 하니 사진처럼 해당 로그까지만 찍힌 후에 더 이상 진행이 되지 않고 있습니다. 계속 기다려봐도 상태가 그대로인 것을 보아하니 어딘가 문제가 생긴 것 같습니다. yaml파일은 올려주신 파일과 비교해봤을 때 오타나 다른 문제는 없는 것 같습니다. 원래의 docker-compose.yaml로 교체하면 잘 실행이 되는 상태입니다. 뭐가 문제일까요?
미해결
Airflow 마스터 클래스
강의 내용대로 gmail 세팅 / docker-compose.yaml 적용 후 airflow dag 작성후, 실행을 했는데.. 'smtplib.SMTPAuthenticationError: (535, b'5.7.8 Username and Password not accepted.' 로 Error가 납니다. airflow 실행로그 첨부합니다. 답변 기다리겠습니다. 감사합니다.
해결됨
Airflow 마스터 클래스
task실행 하면 api호출이 안되고 requests에서 에러가 나옵니다 requests.exceptions.ConnectionError: HTTPConnectionPool(host='http', port=80): Max retries exceeded with url: //openapi.seoul.go.kr:8088/***/json/TbCorona19CountStatus/1/1000/?Content-Type=application%2Fjson&charset=utf-8&Accept=%2A%2F%2A (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7fbc7dac3fa0>: Failed to establish a new connection: [Errno -2] Name or service not known')) 그런데 postman이든 브라우저든 다른 곳에서는 정상척으로 호출하고 이전에 SimpleHttpOperator도 정상적으로 모두 호출합니다. 왜 연결이 안되고 Max retries가 뜨는지 잘 모르겠어요 ㅠ 혹시 while문에서 너무 빨리호출하나 싶어서 time.sleep 도 넣어봤지만 차이 없네요
미해결
실리콘밸리 엔지니어와 함께하는 Apache Airflow
안녕하세요 선생님! 🙂 provider 강의에서 airflow tasks test 질문드립니다. airflow docker-compose와 postgres docker-compose를 up 한 후에 (airflow, postgres 정상적으로 구동됨) airflow tasks test postgres_loader execute_sql_query 2023-01-01 터미널에서 실행시 zsh: command not found: airflow 에러가 발생합니다. 실습환경은 강의와 동일하게 docker compose로 구축하였고 로컬환경에는 airflow를 설치하지 않은 상태입니다. 로컬환경에 airflow를 설치해야하나요..? ㅠㅠ
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
이전 단일 표본 검정에서 정규성 검증을 진행할 때 willcoxon 코드를 알려주실 때stats.wilcoxon(df[’무게‘]-120, alternative=’less’)와 같이 알려주셨는데 이번 대응표본 검정에서 정규성 검증을 진행할 때 willcoxon는 stats.wilcoxon(df[‘after’] ,df[‘before’], alternative = ‘greater’)와 같이 알려주셨습니다.또한 강의에서도 after와 before의 값을 빼서 넣은 값인 df['diff']를 그대로 사용해도 된다고 말씀하셨습니다.그래서 아래 사진과 같이 임의로 df[‘after’] - df[‘before’]를 넣어서 실행해봤는데 결과값이 똑같이 나왔습니다. 그럼 단일 표본 검정에서 알려주신대로 df[’무게‘]-120와 같이 df[‘after’] - df[‘before’]로 생각하고 넣어줘도 무방한 것인가요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
형별로 합하기 위해 df = df.T 를 쓰셨는데 print(sum(df.sum(axis=1) > 3000)) 를 쓰면 안 될까요 ? 해보니 답은 동일 했습니다.
미해결
Airflow 마스터 클래스
안녕하세요. Airflow Master 강좌를 듣고 있습니다. 해당 강좌를 완강한 거 같은데.. 진도율이 100%가 안되네요 그래서 수료증(완강표시된) 출력을 못하고 있습니다. 어떻해야 하는지 알려주세요.. 많은 강좌중 제가 놓친강좌가 무엇인지 파악할 수가 없네요 . 감사합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
ANOVA를 배울때는 ols 사용할때 독립변수 앞에 C()를 붙이는것이 분산분석은 범주형 분석이기에 앞에 C를 붙인다고 생각했는데요~ 로지스틱 회귀분석은 독립변수가 수치형, 종속변수가 이산/명목형으로 알고있는데.. Gender 앞에 C를 붙이는 이유가 있을가요? 오히려 Gender은 수치로 바꿔줘야할것 같은데.. 혹시 C 의 의미가 수치형->범주형, 범주형->수치형으로 양쪽 모두 바꿔주는 역할인건지 궁금합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
다중분류에서 쓰는 average = 'macro'가 무슨 의미일까요??
해결됨
윤파고의 정보처리기사 DB/프로그래밍 All-In-One
혹시 기출문제 올인원은 어디서 볼 수 있나요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 문제 지문에서알려주는 제출 CSV 파일 형식은 0, 1, 1, 0 ... 이런 predict 결과값인데 0.11385 와 같이 predict_proba 확률값으로 결과를 제출해도 괜찮은 이유가 궁금합니다! roc_auc가 predict_proba 로 해야한다면 predict_proba로 모형 성능테스트를 하고 제출은 predict로 해야하는 것이 아닌가... 라는 의문이 들어서 문의드립니다
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
원핫 인코딩 코드에서 괄호 안에 [cols]를 쓸 때와 columns=cols를 쓸 때의 차이가 궁금합니다. 3-4 Feature engineering에서와 3-6 Regression에서 작성법이 달라서요. 3-6 Regression에서는 train[cols]로 썼더니 에러가 나네요ㅠ # 3-4 Feature engineering c_train[col] = le.fit_transform(c_train[col]) c_test[col] = le.transform(c_test[col]) # 3-6 Regression train = pd.get_dummies(train, columns=cols) test = pd.get_dummies(test, columns=cols)
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
인코딩을 할때 선생님이 어쩔때는 원핫인코딩을 하시고 어쩔때는 레이블인코딩을 하시던데 그 인코딩을 정하시는 기준을 잘 모르겠습니다! 인코딩을 정하실때 그 경우에 대해서 자세히 알려주시면 감사하겠습니다 그리고 인코딩을 할때 컬럼도 몇개 정하셔서 하시던데 그 컬럼고르는 기준도 잘 모르겠습니다 그 기준에 대해서도 선택하는 방법을 알려주시면 감사하겠습니다 ㅠㅠ
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
보통 작업형2에서는 예측값을 물어보는 문제가 나오던데요. 문제가 나올때 어느문제는 분류모델을, 어느문제는 회귀모델을 사용해야하는지 궁금합니다. 지금까지 강의+기출문제를 보면서는 분류/회귀를 결정하는 부분이 평가 모델을 통해 진행된다는 느낌을 받았는데요. 1) roc_auc_score, accuracy_score 이 평가모델로 쓰일 경우, 분류형 모델 사용(Classifier) 2) rmse, mean_squared_error 이 평가모델로 쓰일 경우, 회귀모델 사용(Regressor) 이렇게 생각하면서 작업형2를 접근하는게 맞는지 궁금합니다.
미해결
Airflow 마스터 클래스
Email Operator로 메일 전송하기 강의 실습을 진행하다가 에러가 나서 질문 남깁니다. dag 실행 로그가 아래와 같이 찍히고, 실패 하는데 어떤 부분이 잘못되어서 이런 건지 모르겠습니다... [2023-11-15, 14:06:59 UTC] {warnings.py:109} WARNING - /home/***/.local/lib/python3.8/site-packages/***/utils/email.py:154: RemovedInAirflow3Warning: Fetching SMTP credentials from configuration variables will be deprecated in a future release. Please set credentials using a connection instead. [2023-11-15, 14:06:59 UTC] {configuration.py:1050} WARNING - section/key [smtp/smtp_user] not found in config [2023-11-15, 14:06:59 UTC] {taskinstance.py:1937} ERROR - Task failed with exception [2023-11-15, 14:06:59 UTC] {standard_task_runner.py:104} ERROR - Failed to execute job 73 for task send_email_task ([Errno 99] Cannot assign requested address; 618)
해결됨
Airflow 마스터 클래스
안녕하세요 강사님~ airflow를 이제 막 배우는 학생입니다. 다름이 아니라 bashoperator에 외부 쉘파일 수행하기에서 airflow에서 dag을 실행하면 해당 경로를 찾을 수 없다고 나와서요 제가 root 계정으로 실습 진행하고 있는데 opt를 root 경로로 바꿔봐도 동일한 증상이 계속됩니다. 추가로 py 코드에서 경로를 왜 opt로 주셨는지도 궁금합니다!
해결됨
Airflow 마스터 클래스
docker-compse.yaml 위치는 C:\Windows\System32에 있습니다. airflow파일은 C:\tool\airflow여기에 있습니다.${AIRFLOW_PROJ_DIR:-.}/dags:/opt/airflow/dags 이부분을 어떻게 고쳐야할까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요 선생님, 질문은 3가지 입니다. 1) 저는 문제를 딱 접했을때 분류모형을 써야할지, 예측모형을 써야할지 판가름을 정확하게 못하는 것 같습니다. 쉽게 판별하는 방법이 있을까요? 2) 이 문제의 경우 target인 output 컬럼을 train.head() 로 보면 0과 1로 구분되어있어서, 0 또는 1로 분류하는(분류모형) 것인가 생각했다가도 문제 맨위에서 참조해주는 예시에서 id,output 41,0.633 28,0.123 222,0.355 를 보면 output이 확률값으로 되어있어서 회귀모형을 사용해야하는 것인가? 라고 헷갈리곤합니다. 어디서 개념을 잡지 못하는 것일까요 3) 최종 예측을 할때 pd.DataFrame({'id':test_id, 'output':pred_proba[:,1]}).to_csv("00000.csv", index=False) output에 pred_proba 를 쓰셨는데 참조예시에서 확률값을 OUTPUT에 담았기 때문에 pred_proba를 사용한 것일까요? 그렇다면 output에 pred 를 담는 경우는 어떤 경우인지요?
