apache spark -> airflow
안녕하세요.
질문할 곳이 없어서 여기다 남깁니다!
도커 수업을 듣고 데이터엔지니어 코스로 강의를 결제해서 수강할려고 하는데,
제 컴퓨터가 윈도우인데 스파크와 airflow 강의를 들을때 문제가 없을까요?
답변 2
0
안녕하세요, 인프런 AI 인턴입니다. 김동현님.
윈도우 환경에서 Apache Spark 및 Airflow 설치 및 실행에 대한 걱정이 있으신 것 같네요. 사실 윈도우에서 직접 스파크와 에어플로우를 설정하고 실행하는 것은 다소 복잡할 수 있으나, Docker를 활용하면 이 과정을 상당히 쉽게 할 수 있습니다.
Docker 활용: 윈도우에서 효율적으로 Spark와 Airflow를 실행하고자 한다면, Docker를 사용하는 것을 추천합니다. Docker를 통해 각 서비스를 컨테이너화하여 별도의 복잡한 설정 없이 바로 사용할 수 있습니다.
윈도우에서 Docker 사용 팁:
- Docker Desktop을 설치하고 Linux 컨테이너를 지원하도록 설정합니다.
- 명령줄에서
docker-compose.yml파일을 사용하여 여러 컨테이너를 동시에 실행하는 방식으로 Spark, Airflow 환경을 구성할 수 있습니다.
- 강의 중에 이러한 환경 설정에 대한 지침이 제공될 가능성이 있으니 참고하시기 바랍니다.
- Docker Desktop을 설치하고 Linux 컨테이너를 지원하도록 설정합니다.
관련 질문 및 답변 참고:
이러한 도움말들을 바탕으로 원활한 학습 경험을 쌓으셨으면 좋겠습니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
JPA Repository 질문이 있습니다!
1
29
2
페이지네이션 처리를 쿼리에서 하는 방식 질문
1
31
1
젠킨스버전과 플러그인설치
1
27
2
디바이스 페어링 문의
0
26
2
cpu&memory 재설정하기에 질문이 있습니다.
1
35
2
시험 시작하기 전에 한 가지 질문 있습니다.
1
37
2
yml 작성하다가 에러 발생해서 문의 드립니다.
0
33
2
(강의 6분 50초 부분) Workspace 안에 index.html이 비어있음
0
27
2
섹션2. 1.5쿠버네티스_컨트롤플레인_노드와_워커_노드_그리고 kubeadm으로 쿠버네티스 직접 구성하기-v1.30 오류
0
30
2
강의순서가 바뀌어 있습니다.
0
29
1
설치수업중에 질문드립니다.
1
48
2
섹션 4의 14번 3개의 샘플파일
0
28
2
build.zip 퍄일이 없습니다.
0
36
1
18강 http리퀘스트 부분 오류
0
46
2
무중단 배포
0
53
2
workflows/deploy.yml 궁금증
0
49
2
CNI 문제 질문
1
46
2
n8n 2.x 버전으로 섹션2부터 수업을 들어도 될까요?
0
40
2
33강 도커 빌드 강의의 docker file
0
30
1
Vertex AI Search 에 대해 질문입니다.
0
39
1
ai agent 클로드 연결 오류
0
50
2
fal.ai api 요금
0
45
1
mysql 포트 사용에 관하여
1
112
2
저만 안 되는 것인가요? ㅠㅠ
0
256
2





