inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

3회 기출유형(작업형2)

학습 및 예측은 맞는데 데이터생성 시 에러발생합니다.

88

작성자 없음

작성한 질문수 0

0

import pandas as pd
train = pd.read_csv("https://raw.githubusercontent.com/lovedlim/inf/refs/heads/main/p4/3_2/train.csv")
test = pd.read_csv("https://raw.githubusercontent.com/lovedlim/inf/refs/heads/main/p4/3_2/test.csv")
# print(train.shape, test.shape)
# print(train.head())
# print(test.head())
train=train.drop('Unnamed: 0', axis=1)
test=test.drop('Unnamed: 0', axis=1)
target=train.pop('TravelInsurance')

# print(train.shape, test.shape)
# print(train.isna().sum().sum())
cols=train.select_dtypes(include="O").columns
from sklearn.preprocessing import LabelEncoder
# le=LabelEncoder()
for col in cols:
  le=LabelEncoder()
  train[col]=le.fit_transform(train[col])
  test[col]=le.transform(test[col])
# print(train.head())  

from sklearn.model_selection import train_test_split
x_tr, x_val, y_tr,y_val=train_test_split(train, target, test_size=0.2, random_state=0)
# x_tr.shape, x_val.shape, y_tr.shape, y_val.shape

from sklearn.ensemble import RandomForestClassifier
rf=RandomForestClassifier(n_estimators=100, max_depth=5, random_state=0)
rf.fit(x_tr,y_tr)
pred=rf.predict_proba(x_val)[:,1]

from sklearn.metrics import roc_auc_score
print(roc_auc_score(y_val, pred))
pred=rf.predict_proba(test)[:,1]
print(pred.shape)

0.8155945419103314
(497,)

그런데 
pd.DataFrame({'y_pred':pred}).reset_index().to_csv('222.csv', index=False)
print(pd.read_csv("222.csv"))
하면 에러가 뜨네요. 왜 그럴까요?
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-99-63ade06c177d> in <cell line: 37>()
     35 pred
     36 pd.DataFrame({'y_pred':pred}).reset_index().to_csv('222.csv', index=False)
---> 37 print(pd.read_csv("222.csv"))

15 frames
/usr/local/lib/python3.10/dist-packages/pandas/io/formats/format.py in <listcomp>(.0)
   1351             formatted = np.array(
   1352                 [
-> 1353                     formatter(val) if not m else na_rep
   1354                     for val, m in zip(values.ravel(), mask.ravel())
   1355                 ]

ValueError: Format specifier missing precision

빅데이터분석기사

답변 2

0

퇴근후딴짓

안녕하세요 삭제가 되었는데 해결 된 것이 맞나요?

코드는 문제없어 보입니다. 재실행 부탁드려요

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. 질문해주신 내용에 대해 도움을 드리겠습니다.

해당 오류는 pd.DataFrame 객체를 생성하여 CSV 파일로 저장할 때 발생하는 문제입니다. 주어진 코드에서는 pred 배열의 요소들을 'y_pred' 컬럼으로 구성된 DataFrame을 생성하고 이를 CSV로 저장하고 있습니다. 그러나 저장된 파일을 읽을 때(특히, pd.read_csv("222.csv")에서), pandas가 숫자 배열을 읽는 과정에서 포맷 규칙과 관련된 문제가 발생할 수 있습니다.

해결책을 제시하겠습니다:

  1. CSV 저장 시 데이터 타입 명시:

    • pred 배열의 데이터가 부동 소수점 형식이므로 to_csv 저장 전에 명확한 형식으로 변환하여 저장하면 문제를 해결할 수 있습니다.

  2. 올바른 파일 경로 확인:

    • 현재 디렉터리에 저장될 때 생성되는 파일이 제대로 저장되었는지, 혹은 파일이 오염되었는지 확인할 필요가 있습니다.

수정된 코드는 다음과 같습니다:

import pandas as pd
import numpy as np

# 데이터프레임 생성 및 CSV로 저장
df = pd.DataFrame({'y_pred': pred})
df['y_pred'] = df['y_pred'].map('{:.10f}'.format)  # 소수점 형식 명시
df.to_csv('222.csv', index=False)

# CSV 파일 읽기
print(pd.read_csv('222.csv'))

이 코드를 통해 CSV 파일 쓰기 및 읽기 문제를 해결할 수 있을 것으로 보입니다. 데이터 포맷을 명시적으로 지정해 주면, 저장과 읽기 사이의 포맷 불일치로 인해 발생할 수 있는 오류를 예방할 수 있습니다.

아래 링크들은 유사한 에러 상황에 대한 유용한 정보를 제공합니다:
- ValueError: could not convert string to float: ‘ ‘
- CSV 저장 및 읽기 오류 해결 방법

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

RandomForest vs lgb

0

6

1

전처리 관련질문

0

6

2

작업형3 기출

0

6

1

유형2에서 데이터분할 생략 가능여부

0

9

1

9회 기출 유형3 질문

0

8

1

lgb 기초편

0

6

1

괄호 사용

0

11

1

작업형 2 데이터 전처리 질문

0

10

0

11회 기출 유형 작업형1 문제 3-1

0

9

0

예시문제 작업형2 (ver2023) 질문입니다

0

12

1

Data type에 따른 처리

0

9

1

데이터 전처리 관련

0

14

2

시험에서 문제 불러오기

0

12

2

2번문제 출력값 질문

0

17

2

pd.get_dummies()가 bool로 반환

0

16

2

대응표본검정 레빈

0

20

3

단일표본검정 문제 유형

0

22

2

[작업형 3] 6~7. 카이제곱 검정

0

18

2

9회 작업형3 문제 1-1

0

32

2

최종답안 계산 방식 질문

0

19

1

시험 치기 전 급하게 질문 사항

0

34

2

유형3

0

29

2

작업형 2 연습문제 섹션 3

0

20

2

11 기출문제 ipynb파일

0

33

2