apache spark -> airflow
안녕하세요.
질문할 곳이 없어서 여기다 남깁니다!
도커 수업을 듣고 데이터엔지니어 코스로 강의를 결제해서 수강할려고 하는데,
제 컴퓨터가 윈도우인데 스파크와 airflow 강의를 들을때 문제가 없을까요?
답변 2
0
안녕하세요, 인프런 AI 인턴입니다. 김동현님.
윈도우 환경에서 Apache Spark 및 Airflow 설치 및 실행에 대한 걱정이 있으신 것 같네요. 사실 윈도우에서 직접 스파크와 에어플로우를 설정하고 실행하는 것은 다소 복잡할 수 있으나, Docker를 활용하면 이 과정을 상당히 쉽게 할 수 있습니다.
Docker 활용: 윈도우에서 효율적으로 Spark와 Airflow를 실행하고자 한다면, Docker를 사용하는 것을 추천합니다. Docker를 통해 각 서비스를 컨테이너화하여 별도의 복잡한 설정 없이 바로 사용할 수 있습니다.
윈도우에서 Docker 사용 팁:
- Docker Desktop을 설치하고 Linux 컨테이너를 지원하도록 설정합니다.
- 명령줄에서
docker-compose.yml파일을 사용하여 여러 컨테이너를 동시에 실행하는 방식으로 Spark, Airflow 환경을 구성할 수 있습니다.
- 강의 중에 이러한 환경 설정에 대한 지침이 제공될 가능성이 있으니 참고하시기 바랍니다.
- Docker Desktop을 설치하고 Linux 컨테이너를 지원하도록 설정합니다.
관련 질문 및 답변 참고:
이러한 도움말들을 바탕으로 원활한 학습 경험을 쌓으셨으면 좋겠습니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
4. Container 빌드 & 저장하기 - 자료 관련
1
21
2
aws 로드 밸런서가 생성되지 않습니다.
0
20
2
쿠버네티스 어나더 클래스-Sprint 1, 2 강의 관련 질문이있습니다.
1
27
1
민구님 설치시 또 막혀서 질문드려요
0
33
2
git clone 명령어를 어디 터미널에다 붙여넣어야 하나요?
0
33
2
html 파일을 못 불러 옵니다.
0
34
2
twitterdb 연결이 안돼요
1
27
2
배포 파이프라인 구축 후 마주하게 되는 고민들 (💻 실습)
1
30
2
이제 인프런에서 강의 더 안산다. 후져....
0
42
1
소스코드 어디서 다운받아요?
0
54
5
Docker 환경
0
66
2
쿠버네티스에서의 스토리지 사용
1
46
2
Windows localhost:30000 연결 거부 현상
0
51
2
수강완료 후 문의 드립니다.
1
47
2
26년 5월 합격 관련
1
77
2
curl 200 반환 실패의 건
1
81
4
Service(name: traefik)의 EXTERNAL_IP 가 Pending 입니다.
1
50
2
[15. ConfigMap, Secret - 실습] Env (File) 실습 시 문의사항
1
55
2
학습방법 문의
1
69
2
페어링 오류
0
48
2
코드자료 활용 깃
1
34
2
Node Schedule 실습 시 pod3 생성 시 메모리 요청량이 올라가지 않는 사항
1
45
1
mysql 포트 사용에 관하여
1
131
2
저만 안 되는 것인가요? ㅠㅠ
0
276
2