173만명의 커뮤니티!! 함께 토론해봐요.
미해결
Airflow 마스터 클래스
안녕하세요. 강사님 현재 저는 mac 기반이며, airflow 을 띄우는데는 성공하였습니다. dag으로 들어가, 실행까지는 잘 되는데 그 후 코드나 그래프를 확인하려면 무한로딩만 되어 내용을 볼수없는 상황입니다 . 문제가 되는 화면인데, 혹시 몰라 docker ps 로 입력 시 일부 몇개가 unhealthy 하게 나오는것을 확인하였는데, 이 부분과 문제가 있을까요?
해결됨
실리콘밸리 엔지니어와 함께하는 Redis
안녕하세요. 예전에 리뷰 이벤트를 신청했었던 사람이니다. 당시 구매한 강의 3개(레디스, 스칼라, 그래들)를 수강했던 수강생입니다. 당시 리뷰 이벤트로 강의를 제공받은 후, 개인적인 오해와 감정적인 대응으로 인해 영자 측에 해당 강의들 모두 철회 요청을 드렸었습니다. 지금 돌이켜보면 너무 감정적으로 행동했던 것 같고, 다소 어리석은 선택이었음을 느끼고 있습니다. 그 후 지식공유자님께도 별도로 사과의 말씀을 전한 적이 있으며, 그때의 제 행동에 대해 진심으로 반성하고 있습니다. 이메일 cis940320@gmail.com 으로 신청을 드렸었고, 해당 메일 내역을 통해 당시 리뷰와 신청한 강의 내역도 확인 가능하실 것이라 생각됩니다. 혹시 가능하다면, 철회했던 강의들을 다시 수강할 수 있는 기회를 부탁드릴 수 있을까요? 당시에 제가 작성했던 리뷰도 정성스럽게 남겼던 기억이 있어, 다시 한 번 수강할 수 있게 된다면 더욱 성실하게 공부하고 의미 있게 활용하고 싶습니다. 번거롭게 해드려 정말 죄송하고, 답변 기다리겠습니다. 감사합니다.
미해결
Airflow 마스터 클래스
안녕하세요. Broken DAG: [/opt/airflow/dags/dags_python_with_op_ kyargs.py ] Traceback (most recent call last): File "/home/airflow/.local/lib/python3.12/site-packages/airflow/models/ baseoperator.py ", line 508, in apply_defaults result = func(self, kwargs, default_args=default_args) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/airflow/.local/lib/python3.12/site-packages/airflow/models/ baseoperator.py ", line 959, in init raise AirflowException( airflow.exceptions.AirflowException: Invalid arguments were passed to PythonOperator (task_id: regist2_t1). Invalid arguments were: kwargs: {'op_kyargs': {'email': '@ naver.com ', 'phone': '010'}} 이런 에러가 왜 난거져?
미해결
Airflow 마스터 클래스
선생님 유형 3개중 3번에 Setup Task: X 되어있는데, 셋업테스크는 있는거 아닌가요 직접 연결이 안되어있단 의미에서 그렇게 적으신건가 헷갈립니다 Teardown Task는 X인거같은데 유형 1과 동일하게 Downstream으로 적혀있어서, 약간 헷갈립니다 (Setup & Teardown 강의, 슬라이드 4)
미해결
Airflow 마스터 클래스
안녕하세요 wsl 에서 user/password 입력을 계속하라고 하는데, password를 토큰으로 입력해야하다보니 너무 힘들어요. copy & paste 가 안되더라구요 ㅠㅠ 어떻게 미리 등록해놓고 안물어보게 할수는 없나요?
미해결
Airflow 마스터 클래스
Broken DAG: [/opt/airflow/dags/dags_bash_ operator.py ] Traceback (most recent call last): File "<frozen importlib._bootstrap_external>", line 1063, in source_to_code File "<frozen importlib._bootstrap>", line 488, in call with_frames_removed File "/opt/airflow/dags/dags_bash_ operator.py ", line 24 bash_t1 >> bash_t2 ^ IndentationError: unindent does not match any outer indentation level 이런 에러가 났는데요 소스에서 확인해보니 from airflow.operators.bash import BashOperator ㅇ airflow.operators.bash 에 ~~~~~~ 이렇게 되어 있네요. 강사님 따라 그대로 했는데 에러가 왜 난걸까요?
해결됨
[2026] 비전공자도 한 번에 합격하는 SQLD 올인원
안녕하세요 강사님, 혹시 강의 마지막 부분의 part 2 기출풀이와 관련된 문제 파일은 별도로 없나요?
해결됨
[2026] 비전공자도 한 번에 합격하는 SQLD 올인원
여러가지 질문이 있어 하나씩 작성하겠습니다. 관리 구문 단원 정리 문제 2번의 경우, UPDATE EMPLOYEES SET SALARY = SALART + 500 WHERE DEPT_ID = 101; 위와 같이 코드가 작성되어 있고, 선택지 1번은 Alice : 3500, Bob: 2500, Carol : 4500으로, 선택지 3번은 Alice : 3500, Carol : 4500으로 주어져 있으며, 정답은 3번으로 표기되어 있습니다. 하지만 문제 4번의 경우, UPDATE PRODUCTS SET PRICE = PRICE * 1.1 WHERE CATEGORY = 'ELECTRONICS'; 이와 같이 문제가 주어져 있고, 이 또한 1번 선택지는 Keyboard : 55, Mouse : 33, Notebook : 20으로, 2번 선택지는 Keyboard : 55, Mouse : 33으로 주어져 있으며, 정답은 1번으로 표기되어 있습니다. 두 문제 모두 같은 유형의 문제임에도 왜 하나는 테이블의 모든행을 출력한 것이 정답이고 하나는 변한 행들만 출력한 것이 정답인지 궁금합니다. 혹시 제작 과정에서의 오류이면 수정 부탁드립니다. 5번 문제의 경우, [선택지 1번 : Keyboard와 Mouse만 남는다], [선택지 2번 : Notebook이 삭제된다], 이 두 가지 선지 모두 답이 될 가능성이 있어보여 여쭤보고 싶습니다. 문제 9번의 경우, 선택지에 올바른 정답이 없습니다. 답지는 옳게 설명된 것으로 보아 오류인 듯 합니다. 이 외에도 단원 정리 문제마다 몇 가지 문제 오류들이 다소 있었던 것으로 기억합니다. 수정을 통해 더욱 좋은 자료로 거듭나기를 바라겠습니다. 감사합니다 : )
미해결
[2026] 비전공자도 한 번에 합격하는 SQLD 올인원
안녕하세요 강의 잘 듣고있습니다~ CHAPTER 3 01 DML 핵집문제 (p. 306, 307) 문제와 답이 서로 다른 내용인 것으로 보여서 확인 부탁드리겠습니다 감사합니다
해결됨
Airflow 마스터 클래스
에어플로워 라이브러리 로컬컴에 설치했고 코드에서 import 하였습니다. 실제 dag도 airflow에서 정상 동작하는데요. vscode에서만 소스에 문제 있는것처럼 빨갛게 밑줄이 갑니다. 불편하지는 않은데 실제 에러랑 구분이 안되서 해결하고 싶어서요. 뭐가 문제인지 예상되는게 있으실까요?
미해결
15일간의 빅데이터 파일럿 프로젝트
버츄얼박스 5.0버전은 다운로드 링크 눌러도 다운로드가 안됩니다.. 다른버젼은 잘 다운되는데 5.1로 해도되나요?
미해결
Airflow 마스터 클래스
안녕하세요! 먼저 수업 잘 듣고 있습니다 :) 현재 section 6까지 완강하였습니다. 32강 varible 실습 코드부터 airflow에 올라오지 않는 것 같습니다. git push와 git pull 완료 후, wsl에 dags 폴더 내에 해당 코드들이 있는 건 확인했습니다. 하루에 정해진 작업량이 있어서 그런건지 여쭤보고 싶습니다. compose down 시키고 다시 airflow 올려도 똑같이 현시가 안되는 상황입니다....ㅠ
미해결
카프카 완벽 가이드 - 커넥트(Connect) 편
안녕하세요, 강의를 듣기 전에 몇 가지 여쭙고자 합니다. self-host로 kafka-connect를 운영중이라고 할때, 커넥터(Connectors)는 직접 개발해야 하는지 궁금합니다. 특히 GCS로 데이터를 싱크하는 작업을 계획 중인데, Confluent Hub에서 제공하는 커넥터 는 self-hosted 환경에 적용하기 어려운 라이선스 제약이 있는 것 같습니다. 이러한 경우 모범 사례(best practice)는 무엇인지, 아니면 직접 커넥터를 구현하는 방법 외에는 선택지가 없는지 조언 부탁드립니다. 감사합니다.
미해결
Airflow 마스터 클래스
몇시간째 이유를 모르겠네요. 아래와 같은 에러로 airflow에서 postresql로 접속이 안되는것 같습니다. File "/opt/airflow/dags/dags_python_with_ postgres.py ", line 17, in insrt_postgres with closing(psycopg2.connect(host=ip, dbname=dbname, user=user, password=passwd, port=int(port))) as conn: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/airflow/.local/lib/python3.12/site-packages/psycopg2/__init__.py", line 122, in connect conn = connect(dsn, connection factory=connection_factory, **kwasync) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ psycopg2.OperationalError: connection to server at "172.28.0.3", port 5432 failed: Connection timed out Is the server running on that host and accepting TCP/IP connections? from airflow import DAG import pendulum from airflow.operators.python import PythonOperator with DAG( dag_id='dags_python_with_postgres', start_date=pendulum.datetime(2023,4,1, tz='Asia/Seoul'), schedule=None, catchup=False ) as dag: def insrt_postgres(ip, port, dbname, user, passwd, **kwargs): import psycopg2 from contextlib import closing with closing(psycopg2.connect(host=ip, dbname=dbname, user=user, password=passwd, port=int(port))) as conn: with closing(conn.cursor()) as cursor: dag_id = kwargs.get('ti').dag_id task_id = kwargs.get('ti').task_id run_id = kwargs.get('ti').run_id msg = 'insrt 수행' sql = 'insert into py_opr_drct_insrt values (%s,%s,%s,%s);' cursor.execute(sql,(dag_id,task_id,run_id,msg)) conn.commit() insrt_postgres = PythonOperator( task_id='insrt_postgres', python_callable=insrt_postgres, op_args=['172.28.0.3', '5432', 'emuce', 'emuce', 'emuce'] ) insrt_postgres
해결됨
[2026] 비전공자도 한 번에 합격하는 SQLD 올인원
안녕하세요, 강의 수강중인 학생입니다. 정렬 과정에서 NULL 값이 있으면, 오름차순은 맨 아래로, 내림차순은 맨 위로 라고 교재에 작성되어 있는데, 문제 풀이에는 그 기준이 적용되는 것 같지 않아 정확하게 알고 싶습니다.
미해결
스파크 머신러닝 완벽 가이드 - Part 1
안녕하세요! 기본적인 질문인데.. titanic_train.csv 로드하는 방법 중 아래 과정중 마지막 과정 다음으로 어떻게 해야하나요? 영상 상 별다른 버튼 클릭(Create Table with UI나 Create Table in Notebook) 및 저장 없이 진행 된 듯 보이는데, 그냥 두 번째 캡처본의 'Create Table in Notebook' 누르니까 코드가 실행 되며 display, show등 작동은 합니다. 기본 디폴트 데이터 경로가 /FileStore/tables/ 인 건가요?? 로드한 titani_train.csv 이런 데이터 목록을 어디에서 볼 수 있을 지도 여쭙니다. 좌측 메뉴에서 Catalog 누르면 캡처본처럼 Data라는게 뜨는데 아무런 테이블(데이터)가 없다고 뜨네요.. 근데 코드는 실행이 되니 어찌 된 건 지 잘 모르겠습니다ㅜㅡㅜ
미해결
Airflow 마스터 클래스
안녕하세요, 최근에 airflow를 공부해보려고 해당 인강을 구매했는데, airflow3버전 인강 업데이트 예정이라는 공지를 보고, 대기 중에 있습니다. 혹시 언제쯤 업데이트 될 예정인지 알 수 있을까요? 아니면 우선 airflow2 버전으로라도 보는게 나을까요?
해결됨
[2026] 비전공자도 한 번에 합격하는 SQLD 올인원
안녕하세요 강사님, 열심히 강의 잘 듣고 있습니다. 정규표현식 핵심문제를 풀어보고 있는데 문제와 문제의 정답, 해설이 일치하지 않는거 같습니다. 1. SQL에서 정규 표현식(Regular Expression)의 주요 목적은 무엇인가? ① 데이터를 그룹화하여 평균 값을 계산한다. ② 문자열 데이터를 특정 패턴으로 검색, 매칭 및 수정한다. ③ 데이터를 특정 열 기준으로 정렬한다. ④ 테이블 구조를 변경한다. 해당 문제는 정규 표현의 목적에 대해서 묻는 문제인데 해당 문제의 정답 및 해답에서는 정규 표현식 ^에 대한 해설이 나와 있는 등 해당 핵심문제들의 문제와 정답 해설이 일치하지 않는거 같습니다. 확인 부탁드립니다.
미해결
스파크 머신러닝 완벽 가이드 - Part 1
강의에서 새로운 클러스터 생성할 때 10.0 ML (includes Apache Spark 3.2.0, Scala 2.12) 로 설정하시잖아요..! 아무래도 강의 생성 시기랑 연도 차이가 나다보니 지금은 해당 버전은 안 뜨는데 10.4 LTS ML로 해도 무방할까요?? 아래 스크린샷처럼 more 버튼도 없어서 구버전 생성에 어려움을 겪고 있습니다ㅜ (UI가 많이 다르지만, community.cloud.databricks.com 으로 접속한 페이지 맞습니다...!)
미해결
카프카 완벽 가이드 - 코어편
kafka-consumer-groups 명령어로 Consumer Group과 Consumer, Lag 정보 확인하기 강의 듣다가 질문이 생겼습니다! 메시지 2000개를 Consumer가 없는 상황에서 전송을 한 상황에서 질문이 있습니다. 이전 강의에서 파티션별로 Consumer가 할당되어 메시지를 Consume 한다고 이해 했는데요. 이러한 원리일 때 2000개의 메시지가 들어온다면 Lag이 파티션별로 골고루 2000개가 분배되거나 총합이 2000개일 것이라고 생각했습니다. 그런데 파티션 3개 각각 1300개의 Lag이 있는 것을 확인할 수 있었는데 어떤 이유에서 약 1300개가 나온 것인지 궁금합니다!
