apache spark -> airflow
안녕하세요.
질문할 곳이 없어서 여기다 남깁니다!
도커 수업을 듣고 데이터엔지니어 코스로 강의를 결제해서 수강할려고 하는데,
제 컴퓨터가 윈도우인데 스파크와 airflow 강의를 들을때 문제가 없을까요?
回答 2
0
안녕하세요, 인프런 AI 인턴입니다. 김동현님.
윈도우 환경에서 Apache Spark 및 Airflow 설치 및 실행에 대한 걱정이 있으신 것 같네요. 사실 윈도우에서 직접 스파크와 에어플로우를 설정하고 실행하는 것은 다소 복잡할 수 있으나, Docker를 활용하면 이 과정을 상당히 쉽게 할 수 있습니다.
Docker 활용: 윈도우에서 효율적으로 Spark와 Airflow를 실행하고자 한다면, Docker를 사용하는 것을 추천합니다. Docker를 통해 각 서비스를 컨테이너화하여 별도의 복잡한 설정 없이 바로 사용할 수 있습니다.
윈도우에서 Docker 사용 팁:
- Docker Desktop을 설치하고 Linux 컨테이너를 지원하도록 설정합니다.
- 명령줄에서
docker-compose.yml파일을 사용하여 여러 컨테이너를 동시에 실행하는 방식으로 Spark, Airflow 환경을 구성할 수 있습니다.
- 강의 중에 이러한 환경 설정에 대한 지침이 제공될 가능성이 있으니 참고하시기 바랍니다.
- Docker Desktop을 설치하고 Linux 컨테이너를 지원하도록 설정합니다.
관련 질문 및 답변 참고:
이러한 도움말들을 바탕으로 원활한 학습 경험을 쌓으셨으면 좋겠습니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
부하 테스트 시 설정 관련 질문드립니다
1
23
1
"도커 이미지 생성" 18:59부분에 텍스트 파일로 정리 된거는 어디서 볼수 있나요?
0
16
1
[📌문제풀이] Ingress에서 Gateway로 전환하기: gatewayclass 조회 안됨
0
27
2
kafka 이벤트 발행 실패 시 at-least-once를 보장하는 방법이 궁금합니다.
1
69
1
domain에 @Entity 와 Repository를 함께 둔 이유가 궁금합니다
1
49
1
혹시 강의 내용하면서 실습했던 것을 개인 깃에다 올려도 될까요?
0
25
1
Jib 이미지 빌드에서 docker credential 관련으로 이슈가 있다면
1
79
2
스크립트에 대해 질문 있습니다.
1
60
1
같은 사용자가 연속된 중복 호출할 경우 어떻게 되는지 궁금합니다!
2
71
1
이거 지금 부터 들어도 괜찮을까요 ?? 시간이 꽤지난거같은데 .. 뭐 최신하고 아에 안맞을까요 .
0
39
1
환경설정 스크립트에서 storageclass가 생성되지 않습니다.
0
51
2
자료를 다운로드후 압축을 풀때 오류납니다.
0
48
2
pod kubetm/app 에서 image를 갑자기 못가져 오는거 같습니다.
1
46
2
이지지 생성 노드를 커스텀 햇는데 워드프레스에 이미지 업로드가 안됨
0
32
2
3. Node Schedule 중 pod-5가 마스터 노드에 배치됩니다.
1
52
2
실제 시험에서 링크
1
54
1
volume hostpath의 강의에 관해 질문이 있습니다.
1
41
2
재고 감소와 쿠폰 발급은 왜 서로 다른 방식으로 동시성을 제어하나요?
0
56
2
n8n에서 오류가 발생했는데 어떻게 풀어야할까요?
0
41
2
소스코드즘 부탁드립니다.
0
48
1
docker 마지막 실습(app(flask) + mysql) 연동 과정
1
68
2
코드자료 활용 깃
1
60
2
mysql 포트 사용에 관하여
1
154
2
저만 안 되는 것인가요? ㅠㅠ
0
311
2