-
질문 & 답변
카테고리
-
세부 분야
데이터 분석
-
해결 여부
미해결
pyspark 현업에서 로컬 개발 및 운영
24.05.14 19:17 작성 조회수 69
1
안녕하세요. 좋은 강의 감사합니다.
scala를 이용하여 spark streaming을 배포할 때,
주로 shadow jar 파일을 생성하고 해당 파일을 이용하여
배포하는 걸로 알고 있는데,
pyspark 같은 경우는 현업에서 어떤 방법으로 배포를
하고 있을까요?
1. 강의에서 소개해준 것처럼 파일 단위로 배포를 하는지
다른 방법으로 배포를 하는지 궁금합니다.
2. 강의에서 도커를 이용하여 빠르게 개발 및 배포하는 방법을 소개해주셨는데, 현업 로컬 환경에서도 주로 도커를 이용하여 개발을 하고 계실까요?
감사합니다.
답변을 작성해보세요.
0
미쿡엔지니어
지식공유자2024.05.15
안녕하세요 장원용님,
1. 강의에서 소개해준 것처럼 파일 단위로 배포를 하는지
다른 방법으로 배포를 하는지 궁금합니다.
=> 파일 단위로 배포말고 zip으로 묶으신 다음에 배포 하셔도 되고, 요새는 다 Kubernetes로 돌리기 때문에 다커 이미지에 다 인스톨을 해서 그 이미지를 사용하는 방식으로 바꼈습니다.
2. 강의에서 도커를 이용하여 빠르게 개발 및 배포하는 방법을 소개해주셨는데, 현업 로컬 환경에서도 주로 도커를 이용하여 개발을 하고 계실까요?
=> 네 현업에서는 대부분이 쿠버네티스와 다커로 스파크를 돌리는 방향으로 바뀌었습니다. 그게 관리하는 측면에서 더 쉽거든요.
도움이 되셨으면 좋을 리뷰 부탁드릴게요!
답변 1