inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

스파크 머신러닝 완벽 가이드 - Part 1

Spark DataFrame에 when을 적용하여 조건별로 데이터 처리하기

window 함수가 궁금합니다

244

Danny

작성한 질문수 1

0

window 함수를 개발자들이 많이 사용을 하는데 rangeBetween과 rowBetween에 대해서 설명을 해주시면 감사하겠습니다.

 

머신러닝 배워볼래요? bigdata apache-spark 데이터 엔지니어링

답변 1

0

권 철민

안녕하십니까, 

음, 이걸 설명드리기에는 Q&A 게시판에서 한참을 적어야 할 것 같습니다만, 

중요한 차이만 말씀드리면

먼저 range between과 rows between은 거의 비슷합니다.  다만 range는 논리적 개념의 windows 범위 설정이 가능하며 rows는 물리적 개념의 window 범위 설정만 가능합니다. 

가령 range는 interval과 결합하여 Date/Datetime 범위를 논리적으로 인식해서 window를 설정할 수 있습니다. 

range/rows가 차이를 보이는 또 하나는

window함수의 order by 절에 사용된 컬럼값이 동일할 경우 서로 처리하는 범위가 달라집니다. 

사례를 보여 드리면서 하면 좋은데 Q&A 게시판의 제약(?)이 있는 관계로 핵심 사항만 말씀 드려야 할 것 같습니다.  자세한 사례는 아래 URL 참조 부탁드립니다. 

https://learnsql.com/blog/difference-between-rows-range-window-functions/

 

감사합니다. 

0

Danny

안녕하세요.

보내 주신 링크를 보면서 곰곰히 생각니까 이해가 되었습니다, 실제로 사용하기 위해서는 연습을 해봐야 할 것 같습니다, 해당 사이트에 cheet sheet도 유용한것 같습니다.

감사합니다.

https://learnsql.com/blog/sql-window-functions-cheat-sheet/Window_Functions_Cheat_Sheet.pdf

강사님 안녕하세요 ㅎdatabricks환경에 대한 설

0

63

3

데이터 브릭스 이슈

0

111

2

데이터 브릭스 가입

0

98

2

pyspark local 설치

0

101

2

community edition 가입 문의

0

113

2

데이터 로드 및 로딩 된 파일 데이터 목록 조회 방

0

171

2

클러스터 버전 설정

0

136

3

instacart market basket analysis

0

188

3

spark 추가 학습 관련 질문

0

235

2

MLOps 관련 MLFLow 및 Databricks 모델 서빙

0

404

1

train파일 업로드 중에 해당 경로가 없다고 뜹니다

0

376

2

강의가 재생되지 않음

0

266

2

후속 강의 계획 질문드립니다.

0

374

1

spark_xgboost_lightgbm 강의부분 관련

0

476

1

spark환경에서 데이터 수정에 관하여 질문이 있습니다.

1

327

1

Spark를 이용하여 binary file -> parquet, csv 변환 가능여부

0

574

1

SPARK 2 강의 오픈

0

499

1

Spark ML 모델 서빙

0

571

1

mac os ) zip 파일 dataframe 오류

0

674

1

ModuleNotFoundError : No module named 'mmlspark' - 20230218

0

631

1

TrainValidationSplit과 randomSplit 사용 질문

0

403

1

현업에서는 scala-spark를 사용하나요? py-spark를 사용하나요?

0

519

1

cluster 생성 Database runtime version 질문

0

277

1

Pandas vs Spark: 비용, 처리시간 비교

0

1241

1