EMR 환경시 분산처리가능하게하는 conf 설정 문의
397
14 asked
EMR 환경에서 spark_app = SparkSession.builder.appName(app_name).getOrCreate() 하면 자동으로 분산처리가 되나요?
아니면 conf를 따로해줘야하는지요? 따로 할경우는 어떻게 conf를 잡으면 될까요?
databricks에 cluster 메뉴가 없습니다.
0
51
2
주피터 사용 및 도커 설치
0
98
2
S3 폴더 구조에 따른 Static Partition Pruning, DPP 질문
0
78
2
broadcast Join과 boradcast + UDF 차이
0
64
2
append 모드 사용 시 집계
0
69
2
CDC 기반 스파크 아키텍처 구현 방법이 궁금합니다.
0
112
2
BroadCast 지원 가능 메모리 문의
0
91
2
rdd, dataframe, spark sql 각각 언제 사용할까요?
0
190
2
강의 후반부에 나온 실습 코드는 어디서 받을 수 있나요?
0
204
3
cdc 기반의 스트리밍 데이터 처리
1
231
2
broadcast 코드 예시 관련 질문
0
130
2
재생에 문제가 생겼어요 라는 메세지가 자꾸 뜨네요
0
116
1
스트리밍 예제 실행 시 py4j.protocol.Py4JNetworkError 발생
0
217
2
Repartition과 Coalesce에 대해 궁금한 점이 있어요!
1
167
1
pyspark 현업에서 로컬 개발 및 운영
1
338
1
Spark Structured Streaming Gracefully shutdown 질문
1
450
2
PySpark Runtime Architecture 내용 중 질문이 있습니다!
1
216
1
docker 설치 이후에 터미널 여는 부분에서 막혔습니다
1
462
2
app-<timestamp>-<executor_id> 폴더가 spark-events 내부에 생기게 하고 싶습니다.
1
279
1
pyspark.SparkContext 실행 오류 관련 질문
2
382
1
스파크 아키텍쳐 관련 문의 드립니다.
1
353
2
3.0에서 추가된 shuffle_hash, shuffle_replicate_nl hint는 어떤 상황에서 쓰는게 좋을까요?
1
320
1
데이터 엔지니터의 현 트렌드가 궁금합니다
1
473
1
스칼라강의도 제작하신다고 하셨는데 계획하고 계실까요??
1
300
2