inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

스파크 머신러닝 완벽 가이드 - Part 1

databricks에 폴더 생성 및 신규 데이터 업로드

378

nathan

작성한 질문수 86

0

databricks에 new_folder_1를 만들고 그 아래 new_folder_2 라는 하위 폴더를 만들어서 그 안에 데이터를 업로드하고 싶습니다. 즉, 파일 경로가 최종적으로 

new_df= spark.read.csv('/FileStore/new_folder_1/new_folder_2/file_name.csv', header=True, inferSchema=True)

 

가 되게 해서 import 하고 싶은데, 혹시 방법을 안내해주실 수 있으실까요? 

 

bigdata 머신러닝 배워볼래요? 데이터 엔지니어링 apache-spark

답변 1

1

권 철민

안녕하십니까, 

spark dbfs에 파일 디렉토리를 새롭게 만들 수는 없습니다만, upload 시 단일 파일이 아니라 디렉토리를 만들어서 그안에 파일을 넣고 upload하시면 됩니다. 

가령 new_folder1/new_folder2/filename.csv 와 같이 윈도우즈에서 디렉토리구조를 만든 후 이 디렉토리를 upload하면 됩니다. 

감사합니다. 

0

nathan

감사합니다 :)

강사님 안녕하세요 ㅎdatabricks환경에 대한 설

0

6

1

데이터 브릭스 이슈

0

91

2

데이터 브릭스 가입

0

83

2

pyspark local 설치

0

82

2

community edition 가입 문의

0

93

2

데이터 로드 및 로딩 된 파일 데이터 목록 조회 방

0

159

2

클러스터 버전 설정

0

122

3

instacart market basket analysis

0

169

3

spark 추가 학습 관련 질문

0

222

2

MLOps 관련 MLFLow 및 Databricks 모델 서빙

0

377

1

train파일 업로드 중에 해당 경로가 없다고 뜹니다

0

366

2

강의가 재생되지 않음

0

257

2

후속 강의 계획 질문드립니다.

0

364

1

spark_xgboost_lightgbm 강의부분 관련

0

463

1

spark환경에서 데이터 수정에 관하여 질문이 있습니다.

1

312

1

Spark를 이용하여 binary file -> parquet, csv 변환 가능여부

0

560

1

SPARK 2 강의 오픈

0

490

1

Spark ML 모델 서빙

0

559

1

mac os ) zip 파일 dataframe 오류

0

660

1

ModuleNotFoundError : No module named 'mmlspark' - 20230218

0

616

1

TrainValidationSplit과 randomSplit 사용 질문

0

393

1

현업에서는 scala-spark를 사용하나요? py-spark를 사용하나요?

0

509

1

cluster 생성 Database runtime version 질문

0

268

1

Pandas vs Spark: 비용, 처리시간 비교

0

1227

1