inflearn logo
강의

강의
N
챌린지

챌린지
멘토링

멘토링
N
클립

클립
로드맵

로드맵
지식공유

묻고 답해요

173만명의 커뮤니티!! 함께 토론해봐요.

mac 환경에서 실습할 경우

해결됨

Airflow 마스터 클래스

안녕하세요 mac 환경에서 강의를 수강하려고 합니다. 이러한 경우 wsl 설치 없이 다음 강의로 넘어가면 될까요??

  • python
  • 데이터-엔지니어링
  • airflow
lucli 댓글 1 좋아요 0 조회수 533

Debezium 문의

미해결

카프카 완벽 가이드 - 커넥트(Connect) 편

Debezium 으로 cdc를 구축하고자 하는데 confluent kafka에서도 지원이 가능한지 문의드립니다.

  • kafka
  • 데이터-엔지니어링
joiedevivre 댓글 1 좋아요 0 조회수 430

문의드림

미해결

카프카 완벽 가이드 - 커넥트(Connect) 편

https://archive.apache.org/dist/kafka/2.8.2/kafka_2.13-2.8.2.tgz 여기서 다운 받는 카푸카랑 confluent kafka랑 다른지 문의드립니다.

  • kafka
  • 데이터-엔지니어링
joiedevivre 댓글 1 좋아요 0 조회수 269

인덱스 테이블에 대해서 질문이 있습니다.

해결됨

RDBMS Modeling 실습

기본적으로 클러스터드 인덱스에 의해서 인덱스 테이블이 만들어져 있다면 여러 테이블에 조인을 걸면 WHERE 절에서 조건을 주기 전에 인덱스 테이블이 조인되어 만들어지나요? (혹은 원본 테이블이 조인되어 만들어진 후에 인덱스 테이블이 만들어지나요?)

  • oracle
  • dbms/rdbms
  • mssql
  • 데이터-엔지니어링
!? 댓글 2 좋아요 0 조회수 442

my_first_dag.py 파일 질문 입니다

미해결

실리콘밸리 엔지니어와 함께하는 Apache Airflow

Standalone 환경을 처음 세팅하게 되면 dags 디렉토리가 별도로 없는데 사용자가 직접 만들어주면 되는지 질문드립니다. 그리고 standalone 으로 airflow 서버를 작동시킨 이후 다시 exit 할 경우 자꾸 localhost 에 서버가 남아있어 재 실행이 안되서 컴퓨터 리붓을 해야하는데 혹시 다른 방법이 있을까요? 아래와 같은 방식으로 PID 서버를 kill 하지만 그래도 안될 경우가 많은 것 같습니다. (수정) 아래 방법은 작동하는 것 같네요 ps -ef | grep airflow sudo kill -9 [PID port]

  • python
  • 빅데이터
  • 데이터-엔지니어링
  • airflow
gogo91rla 댓글 1 좋아요 1 조회수 420

mtputty 설치했는데 connect error가 뜹니다..

미해결

카프카 완벽 가이드 - 코어편

- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 강의에서 하신대로 ip 할당도 하였고 192.168.56.101로 핑을 날려도 정상적으로 핑 되는거 확인했고 mtputty로 연결하면 connection error가 뜨네요 어떡하죠.?

  • kafka
  • 데이터-엔지니어링
환성 댓글 3 좋아요 0 조회수 883

1년에 한 번 돌리는 스케줄도 에어플로우로 관리하면 좋을까요?

미해결

Airflow 마스터 클래스

안녕하세요. 수업 잘 듣고 있습니다! 년 단위의 데이터를 가져오는 경우엔 1년에 딱 한 번만 코드를 작동하면 되는데, 이런 경우에도 에어플로우로 관리를 해주는 게 좋을까요? 태스크에 비해 너무 자원을 많이 쓰는 건지, 그래도 프로세스를 보기 편하게 관리할 수 있다는 점에도 활용하는 게 좋을지 고민이 많이 되네요. 강사님의 의견이 궁금합니다!

  • python
  • 데이터-엔지니어링
  • airflow
jihoon 댓글 1 좋아요 0 조회수 373

맥북으로 실습 진행이 가능한지 궁금합니다.

미해결

Airflow 마스터 클래스

안녕하세요, 현재 M2 macbook을 사용하고 있습니다. 강의에서 윈도우 환경에 WSL을 설치한 후 그 위에 airflow를 설치하여 실습을 진행하는 것으로 이해했습니다. 구글링을 좀 해보니 맥북에서도 airflow 설치는 충분히 가능한 것으로 보이는데, 만약 맥북에서 설치했다고 하더라도 뒷부분 실습과정에서 많은 차이가 있는지 궁금합니다!

  • python
  • 데이터-엔지니어링
  • airflow
changhw 댓글 1 좋아요 0 조회수 453

Docker 에서 airflow 사용시 질문드립니다

미해결

실리콘밸리 엔지니어와 함께하는 Apache Airflow

강의에서는 강사님께서 airflow standalone 을 사용하셨는데, docker image로 airflow 서버 생성한 다음 postgres 서버와 연결하려고 하니 테스트 fail이 나고 DAG도 돌아가지 않는 것 같습니다. 혹시 docker image 상에서 DB connect 하는 방법 가이드 부탁가능하실까요? Airflow - connection setting DB connection info

  • python
  • 빅데이터
  • 데이터-엔지니어링
  • airflow
gogo91rla 댓글 2 좋아요 1 조회수 1004

로그와 세그먼트

미해결

[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!

안녕하세요. 강의듣다 헷갈려서 질문드립니다. 로그와 세그먼트에서 설명이 로그에서 갑자기 세그먼트로 넘어가는 느낌을 받았는데, 어떻게 이해하면될까요 로그 = 세그먼트 로그 = 세그먼트 들을 저장하는 로그파일 세그먼트 = 오프셋 1ea의 명칭

  • kafka
  • 데이터-엔지니어링
  • 수업질문
따뜻한 가재 댓글 2 좋아요 1 조회수 377

네트워크 비용관련 설명 질문드립니다.

미해결

[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!

안녕하세요. 프로듀서에서 토픽으로 데이터가 들어갈때, 초당 데이터가 1건/1000건의 예시를 들으셨는데, 해당부분을 배치로 묶어서 1000건을 100개당 1건으로 가정하여 1000건의 처리를 100건으로 줄이는 부분에 대해서 카프카만이 할수있는 부분인가요?

  • kafka
  • 데이터-엔지니어링
따뜻한 가재 댓글 2 좋아요 0 조회수 304

JAVA 1.8 버전 설치 관련 에러

미해결

15일간의 빅데이터 파일럿 프로젝트

java 버전을 확인해보니 1.7 이더라고요 그래서 1.8 버전을 설치 하려고 yum unstall oracle-j2sdk1.8 했는데 다음과 같은 에러가 납니다. [root@server01 yum.repos.d]# yum install oracle-j2sdk1.8 Loaded plugins: fastestmirror, refresh-packagekit, security Setting up Install Process Determining fastest mirrors YumRepo Error: All mirror URLs are not using ftp, http[s] or file. Eg. Invalid release/repo/arch combination/ removing mirrorlist with no valid mirrors: /var/cache/yum/x86_64/6/base/mirrorlist.txt Error: Cannot find a valid baseurl for repo: base 그런데 실습은 하지 말라고 했는데 1.8 버전 설치 안해도 되는건가요??

  • 빅데이터
  • hadoop
  • kafka
  • zookeeper
  • redis
  • flume
  • impala
  • 데이터-엔지니어링
FIF 댓글 1 좋아요 1 조회수 442

컨슈머 랙 모니터링 아키텍처 관련 질문

미해결

[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!

안녕하세요. 좋은 강의 잘 보고 있습니다. 컨슈머 랙 모니터링 아키텍처 관련 질문이 있습니다. 카프카 버로우, 텔레그래프 application에 대해서 각각의 노드에서 구성하는 것이 일반적인지 아니면 카프카 버로우, 텔레그래프를 하나의 노드에서 동작시켜도 무방한 건지에 대한 부분이 궁금합니다.

  • kafka
  • 데이터-엔지니어링
haemin.jeong 댓글 2 좋아요 0 조회수 309

airflow tasks test error

미해결

실리콘밸리 엔지니어와 함께하는 Apache Airflow

안녕하세요. 강의 실습중에 'airflow tasks test postgres_loader execute_sql_query 2023-01-01 ' 터미널에서 실행후 아래와 같은 오류가 발생해서 여쭤보고자 질문드립니다. Error 본문 DB 연결 정보 DB Table 생성 정보 Airflow UI 실행 환경 Mac 14 pro Python 3.11.5 pip freeze aiohttp==3.8.5 aiosignal==1.3.1 alembic==1.11.3 anyio==3.7.1 apache-airflow==2.7.0 apache-airflow-providers-common-sql==1.7.0 apache-airflow-providers-ftp==3.5.0 apache-airflow-providers-http==4.5.0 apache-airflow-providers-imap==3.3.0 apache-airflow-providers-postgres==5.6.0 apache-airflow-providers-sqlite==3.4.3 apispec==6.3.0 argcomplete==3.1.1 asgiref==3.7.2 async-timeout==4.0.3 attrs==23.1.0 autobahn==23.1.2 Automat==22.10.0 Babel==2.12.1 backoff==1.10.0 blinker==1.6.2 cachelib==0.9.0 cachetools==5.3.1 cattrs==23.1.2 certifi==2023.7.22 cffi==1.15.1 channels==4.0.0 charset-normalizer==3.2.0 click==8.1.7 clickclick==20.10.2 colorama==0.4.6 colorlog==4.8.0 ConfigUpdater==3.1.1 connexion==2.14.2 constantly==15.1.0 cron-descriptor==1.4.0 croniter==1.4.1 cryptography==41.0.3 daphne==4.0.0 Deprecated==1.2.14 dill==0.3.1.1 distlib==0.3.5 Django==4.1.4 djangorestframework==3.11.2 dnspython==2.4.2 docutils==0.20.1 email-validator==1.3.1 exceptiongroup==1.1.3 filelock==3.8.0 Flask==2.2.5 Flask-AppBuilder==4.3.3 Flask-Babel==2.0.0 Flask-Caching==2.0.2 Flask-JWT-Extended==4.5.2 Flask-Limiter==3.3.1 Flask-Login==0.6.2 Flask-Session==0.5.0 Flask-SQLAlchemy==2.5.1 Flask-WTF==1.1.1 frozenlist==1.4.0 google-auth==2.22.0 google-re2==1.1 googleapis-common-protos==1.60.0 graphviz==0.20.1 grpcio==1.57.0 gunicorn==21.2.0 h11==0.14.0 httpcore==0.16.3 httpx==0.23.3 hyperlink==21.0.0 idna==3.4 importlib-resources==6.0.1 incremental==22.10.0 inflection==0.5.1 itsdangerous==2.1.2 Jinja2==3.1.2 jsonschema==4.19.0 jsonschema-specifications==2023.7.1 kubernetes==27.2.0 lazy-object-proxy==1.9.0 limits==3.5.0 linkify-it-py==2.0.2 lockfile==0.12.2 Mako==1.2.4 Markdown==3.4.4 markdown-it-py==3.0.0 MarkupSafe==2.1.3 marshmallow==3.20.1 marshmallow-oneofschema==3.0.1 marshmallow-sqlalchemy==0.26.1 mdit-py-plugins==0.4.0 mdurl==0.1.2 multidict==6.0.4 oauthlib==3.2.2 opentelemetry-api==1.15.0 opentelemetry-exporter-otlp==1.15.0 opentelemetry-exporter-otlp-proto-grpc==1.15.0 opentelemetry-exporter-otlp-proto-http==1.15.0 opentelemetry-proto==1.15.0 opentelemetry-sdk==1.15.0 opentelemetry-semantic-conventions==0.36b0 ordered-set==4.1.0 packaging==23.1 pathspec==0.11.2 pendulum==2.1.2 platformdirs==2.5.2 pluggy==1.2.0 prison==0.2.1 protobuf==4.21.12 psutil==5.9.5 psycopg2-binary==2.9.7 pyasn1==0.4.8 pyasn1-modules==0.2.8 pycparser==2.21 pydantic==1.10.12 Pygments==2.16.1 PyJWT==2.8.0 pyOpenSSL==23.0.0 python-daemon==3.0.1 python-dateutil==2.8.2 python-nvd3==0.15.0 python-slugify==8.0.1 pytz==2023.3 pytzdata==2020.1 PyYAML==6.0.1 referencing==0.30.2 requests==2.31.0 requests-oauthlib==1.3.1 requests-toolbelt==1.0.0 rfc3339-validator==0.1.4 rfc3986==1.5.0 rich==13.5.2 rich-argparse==1.2.0 rpds-py==0.9.2 rsa==4.9 service-identity==21.1.0 setproctitle==1.3.2 six==1.16.0 sniffio==1.3.0 SQLAlchemy==1.4.49 SQLAlchemy-JSONField==1.0.1.post0 SQLAlchemy-Utils==0.41.1 sqlparse==0.4.4 tabulate==0.9.0 tenacity==8.2.3 termcolor==2.3.0 text-unidecode==1.3 Twisted==22.10.0 txaio==23.1.1 typing_extensions==4.7.1 uc-micro-py==1.0.2 unicodecsv==0.14.1 urllib3==1.26.16 virtualenv==20.16.3 websocket-client==1.6.2 Werkzeug==2.2.3 wrapt==1.15.0 WTForms==3.0.1 yarl==1.9.2 zope.interface==5.5.2 제가 생각하는 에러 원인 오류 본문을 보고 DB 연결 문제라 생각이 들어 DB를 재생성 하여지만 아직도 원인은 똑같았습니다. 제가 작성한 코드는 아래 github에 올렸습니다. https://github.com/saohwan/learn-airflow

  • python
  • 빅데이터
  • 데이터-엔지니어링
  • airflow
Cooper Ben 댓글 1 좋아요 2 조회수 597

order by 정렬 문의

미해결

다양한 사례로 익히는 SQL 데이터 분석

안녕하세요 강사님 group by + distinct를 비교해보다 이유는 모르겠지만 위에 distinct를 넣은 것은 day 컬럼이 자동으로 정렬이 되었고 아래의 distinct를 넣지 않은 컬럼은 정렬 되지 않았습니다 아래도 역시 distinct 를 넣으니 자동 오름차순이 되었습니다 ( count ( DISTINCT oi.order_id)) 혹시 그 이유가 궁금합니다 또, order by 처리 시 쿼리 속도가 느려진다는 말이 있는데 이런식으로 order by 를 넣지 않고 자동 정렬 되는 것이 있다면 쿼리 속도 향상에 도움이 될까요? 쿼리문 자동 정렬 SELECT date_part ( 'day', o.order_date) AS DAY , sum (amount) AS sum_amount , count ( DISTINCT o.order_id) AS daily_ord_cut FROM orders o , order_items oi WHERE 1 = 1 AND o.order_id = oi.order_id GROUP BY date_part ( 'day', o.order_date) ORDER BY 1 ; 정렬 안됨 SELECT date_part ( 'day', o.order_date) AS DAY , sum (amount) AS sum_amount , count ( oi.order_id) AS daily_ord_cut FROM orders o , order_items oi WHERE 1 = 1 AND o.order_id = oi.order_id GROUP BY date_part ( 'day', o.order_date);

  • sql
  • postgresql
  • dbms/rdbms
  • 퍼포먼스-마케팅
  • 데이터-엔지니어링
홍태경 댓글 1 좋아요 0 조회수 466

후속 강의 계획 질문드립니다.

미해결

스파크 머신러닝 완벽 가이드 - Part 1

혹시 part2 는 언제쯤 계획하고 계신지 그리고 다음 강의는 어떤 강의 준비하고 계신지 궁금합니다!

  • 머신러닝
  • 빅데이터
  • apache-spark
  • 데이터-엔지니어링
nathan 댓글 1 좋아요 0 조회수 383

pythonoperator 를 이용한 unzip 오류

미해결

Airflow 마스터 클래스

python operator를 이용한 파일 unzip 시 permision denied 오류 발생했습니다. airflow 는 wsl을 이용하여 설치하였고, unzip을 이용하여 네트워크 드라이브에 압축을 풀어 저장하고자 합니다. 이때 [2023-09-01, 18:12:33 KST] { taskinstance.py:1824 } ERROR - Task failed with exception Traceback (most recent call last): File "/home/xxx/airflow_env/lib/python3.10/site-packages/airflow/operators/python.py", line 181, in execute return_value = self.execute_callable() File "/home/xxx/airflow_env/lib/python3.10/site-packages/airflow/operators/python.py", line 198, in execute_callable return self.python_callable(*self.op_args, **self.op_kwargs) File "/home/xxx/airflow/dags/Answersheet_dp_2.py", line 66, in unzip files zip_ref.extractall(extract_path) File "/usr/lib/python3.10/zipfile.py", line 1647, in extractall self._extract_member(zipinfo, path, pwd) File "/usr/lib/python3.10/zipfile.py", line 1701, in extract member open(targetpath, "wb") as target: PermissionError: [Errno 13] Permission denied: '/mnt/s/04.xxxxx/' 와 같은 오류가 발생하였습니다. 위 문제를 해결하려면 어떻게 해야하나요?

  • python
  • 데이터-엔지니어링
  • airflow
윤희돈 댓글 2 좋아요 0 조회수 607

블로그에 글을 올려도 되나요?

미해결

실리콘밸리 엔지니어와 함께하는 Apache Airflow

강의 내용들을 정리하여 까먹지 않고 앞으로도 찾아서 사용할 수 있게 블로그에 올리고 싶은데 가능할까요? 가능하다면 적절한 정도가 어느정도 될지, 그이외에 주의할 점으로 링크등을 남긴다는 점등이 필요할지가 궁금합니다 감사합니다

  • python
  • 빅데이터
  • 데이터-엔지니어링
  • airflow
머피 댓글 2 좋아요 0 조회수 515

frontend 변경사항 반영

미해결

따라하며 배우는 도커와 CI환경 [2023.11 업데이트]

지금 nginx 를 이용해서 웹서버 랑 proxy랑 둘다 하는걸로 이해했는데 그럼 docker-compose.yml 측에서 frontend 빌드시 Dockerfile.dev 사용하니까 frontend 변경사항이 바로 보여야 하는지 아닌지 궁금합니다 frontend 변경 -> nginx 에서 정적파일을 가져와서 제공 지금 이런식인데 docker-compose yml 에서 nginx: restart: always build: dockerfile: Dockerfile context: ./nginx ports: - "3000:80" 여기에서는 볼륨이 딱히 보이지 않아서요 nginx에서는 변경사항이 있으면 어떻게 tracking 하는건가요? 프론트엔드가 변경되어도 그 변경된 사항을 다시 빌드해서 웹서버에서 제공이 되야하는건가요 안되는건가요? 현재는 프론트엔드 변경사항이 바로 반영이 되지 않아 제가 틀린건지 궁금해서 여쭙니다

  • aws
  • docker
  • github
  • ci/cd
  • travis-ci
  • 데이터-엔지니어링
chgus0202 댓글 1 좋아요 0 조회수 517

인기 태그

인프런 TOP Writers

주간 인기글