inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

이야기를 나눠요

173만명의 커뮤니티!! 함께 토론해봐요.

airflow로 구현해보고싶은 작업이있습니다.

Airflow 마스터 클래스

안녕하세요, 좋은 강의 제공해주셔서 매번 큰 배움얻을수있어서 너무 감사합니다 ㅎㅎ airflow로 구현해보고싶은 플로우가 있는데, 혹시 가능한 부분일까 하여 질문드립니다. task1 : google drive 특정 경로에 파일이 존재하는지 여부 확인 (크롤링한 데이터가 잘 들어왔는지 확인하기 위함, 파일이없다면 error 처리) task2 : 간단한 데이터 정합성 확인을 위해 가공완료된 csv 데이터가 특정 조건을 충족하는지 확인 (ex. A라는 수치열 칼럼 총합이 B라는 수치열 칼럼 총합보다 큰지 확인, 작다면 error) task3 : 위 두가지 조건이 충족되면 csv 데이터 db에 table insert (update) task4 : 위 db table이 연결된 엑셀파일 데이터 새로고침 위 태스크를 task1 >> task2 >> task3 >> task4 로 구현해보고싶습니다. 위 task에서는 데이터를 가공하는 task는 없는데, 현재 no-code 가공툴을 사용하고있어서 task에는 포함시키지 못했습니다

  • python
  • 데이터-엔지니어링
  • airflow
이동준 댓글 1 좋아요 0 조회수 585

빠르게 코딩하기 위한 단축기 문의 (팁)

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

삭제된 글입니다

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
hello4298 댓글 1 좋아요 0 조회수 444

컴퓨터 비전 airflow

실리콘밸리 엔지니어와 함께하는 Apache Airflow

안녕하세요 딥러닝 컴퓨터비전 엔지니어로 근무 중인 수강생입니다 :) 최근에 mlops에 대해 관심을 가지고 있는 도중에 airflow라는 도구를 알게되었습니다. 딥러닝분야에서도 airflow를 통해 mlops를 하는지 궁금합니다.

  • python
  • 빅데이터
  • 데이터-엔지니어링
  • airflow
Jaewoo Choi 댓글 1 좋아요 0 조회수 490

안녕하세요 현진님

Airflow 마스터 클래스

이번에 현진님의 강의를 수강하고 데이터 엔지니어에 취업을 하게 된 수강생입니다. 혹시 취업과 관련해서 조언을 구하고 싶은데 메일을 드려도 될까요? 감사합니다.

  • python
  • 데이터-엔지니어링
  • airflow
daniel 댓글 1 좋아요 0 조회수 516

빅분기6회

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

오늘 빅분기 실기 6회 저만어려웠나요..?

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
enffl214 댓글 1 좋아요 0 조회수 570

오겜 Discord 차단 된것 같은데 ,, ㅠㅠ

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

삭제된 글입니다

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
idk1930 댓글 0 좋아요 0 조회수 18

구름환경 문의

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

함수에 대해 정의내릴 때 예를 들어 코랩 에서는 scaler = minmax_scale() 이렇게 정의를 내리고 scaler(data) 하는데 #코랩은 정의내릴 때 괄호를 빼면 동작안함 구름에서 테스트해보니까 scaler = minmax_scale()하고 scaler(data)하면 에러가 발생하고 괄호없이 scaler = minmax_scale 만해야 에러가 발생하지 않더라구요. 이게 구름 환경만의 특성이라서 그렇다고 보면 될까요?

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
jinu220 댓글 2 좋아요 0 조회수 715

인기 태그

인프런 TOP Writers

주간 인기글