이야기를 나눠요
156만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
실리콘밸리 데이터 리더가 알려주는 Airflow 기초
강의 듣기전에 고민이 있어서 문의드립니다 !
지금 모바일 게임 런칭을 1달 앞두고 급하게 데이터관련 학습을 하는중입니다.이전까진 개발에만 힘써와서 데이터 관련 학습이 처음인데 저희 게임이 볼륨이 그렇게 크지 않습니다.자동 파이프라인 구축에 관해서 airflow는 학습을 진행할 생각입니다.datawarehouse같은 경우에 찾아봐도 종류가 너무나 많고 분명 저희 상황에 fit하게 들어맞는게 있을거같은데 정보가 너무나 부족해서 문의 남깁니다..선생님 강의 중 sql강의도 구매해서 같이 들을 예정입니다 . 그냥 강의를 최대한 따라가면서 snowflake를 익히는게 좋을까요.? sql강의와 airflow강의중 어떤걸 먼저 들으면 좋을까요?json데이터를 주로 다룰거같습니다.
-
Airflow 마스터 클래스
airflow로 구현해보고싶은 작업이있습니다.
안녕하세요,좋은 강의 제공해주셔서 매번 큰 배움얻을수있어서 너무 감사합니다 ㅎㅎairflow로 구현해보고싶은 플로우가 있는데, 혹시 가능한 부분일까 하여 질문드립니다.task1 : google drive 특정 경로에 파일이 존재하는지 여부 확인 (크롤링한 데이터가 잘 들어왔는지 확인하기 위함, 파일이없다면 error 처리)task2 : 간단한 데이터 정합성 확인을 위해 가공완료된 csv 데이터가 특정 조건을 충족하는지 확인 (ex. A라는 수치열 칼럼 총합이 B라는 수치열 칼럼 총합보다 큰지 확인, 작다면 error)task3 : 위 두가지 조건이 충족되면 csv 데이터 db에 table insert (update)task4 : 위 db table이 연결된 엑셀파일 데이터 새로고침위 태스크를 task1 >> task2 >> task3 >> task4 로 구현해보고싶습니다. 위 task에서는 데이터를 가공하는 task는 없는데, 현재 no-code 가공툴을 사용하고있어서 task에는 포함시키지 못했습니다
-
실리콘밸리 엔지니어와 함께하는 Apache Airflow
컴퓨터 비전 airflow
안녕하세요 딥러닝 컴퓨터비전 엔지니어로 근무 중인 수강생입니다 :) 최근에 mlops에 대해 관심을 가지고 있는 도중에 airflow라는 도구를 알게되었습니다.딥러닝분야에서도 airflow를 통해 mlops를 하는지 궁금합니다.
-
Airflow 마스터 클래스
안녕하세요 현진님
이번에 현진님의 강의를 수강하고 데이터 엔지니어에 취업을 하게 된 수강생입니다. 혹시 취업과 관련해서 조언을 구하고 싶은데 메일을 드려도 될까요? 감사합니다.