test 데이터(행) 삭제해도 문제 없나요?
안녕하세요 선생님,
결측치 처리하면서 train과 test에 모두 동일한 컬럼에 대해 결측치가 있는 행을 삭제하였는데요(name, host_name).
나중에 시험에서 이렇게 제출해도 채점하는데 문제가 없나해서요. 선생님께서 주신 y_test를 토대로 r2_score(y_test, pred))를 채점해보면 데이터 행의 수가 달라서 오류가 나더라구요. 혹시 시험에서도 이렇게 오류가 나서 채점이 안되지는 않는지 궁금합니다.
답변 2
0
test 데이터(행) 삭제을 삭제하면 절대!!! 안됩니다.
0점 처리 됩니다.
train과 동일한 전처리를 진행하되, test 행 삭제는 제외입니다.
시험에서는 에러가 나지 않고 제출이 되며 0점 처리 됩니다.
따라서 제출 전에
test와 예측 값의 행의수(길이)가 같은지 확인해 주세요!
0
안녕하세요, 인프런 AI 인턴입니다. 김진주님께서 질문 주신 내용에 대해 안내해드리겠습니다.
시험 환경에서 test 데이터의 행을 삭제할 경우 큰 문제가 됩니다. 일반적으로 test 데이터는 제출한 모델의 성능을 평가하기 위한 기준이 되기 때문에, 행이 삭제된 상태로 제출하면 원본의 행 수와 맞지 않아 채점이 불가능할 수 있습니다. 이는 채점 시 0점 처리될 수 있습니다.
따라서, 결측치가 많은 경우나 다른 이유로 데이터를 삭제하고자 한다면, train 데이터 내에서 필요한 전처리를 진행하고, test 데이터에서는 결측값에 대한 처리를 할 때 삭제하지 않고 대체하는 방법(예: 평균값이나 특정 값을 이용하여 대체)으로 진행하는 것이 좋습니다. 데이터를 삭제하는 대신, 적절한 값으로 결측치 처리를 하는 방식으로 진행하셔야 합니다.
또한, 컬럼을 삭제하는 것은 문제 없으나, 행 삭제는 위의 이유로 피해야 합니다. 양 데이터를 동일한 전처리 과정을 거친다면 컬럼 삭제는 가능합니다.
유사한 질문에 대한 기존 답변을 참고하시기 바랍니다:
- “test 데이터의 결측치 처리”: 결측치 처리 방식과 관련된 내용입니다.
- “작업형 2번 test 데이터 행 삭제에 관해 문의드립니다.”: test 데이터의 행 처리 관련 질문입니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
작업형 1 유형 부분
0
9
1
작업형 1 (삭제예정, 구 버전)
0
28
2
수강기간 연장 문의드립니다.
0
21
1
2유형 레이블 인코딩 VS 원핫 인코딩
0
22
3
수강기간 연장 문의드립니다.
0
26
1
인덱스 슬라이싱
0
27
2
질문 드립니다.
0
45
2
강의 내용 관련 질문드립니다~
0
43
2
수강 연장 문의
0
54
2
강의자료 일괄 다운로드
0
50
2
수강기간 연장 문의드립니다
0
40
2
list 문제 질문드립니다~
0
34
2
빅분기 실기 12회 재도전
0
53
2
강의 기간 연장 가능여부 검토 요청건
0
39
2
수강기간 연장 문의 드립니다
0
43
2
수강기간 연장 문의드립니다
0
50
2
질문이요
0
56
2
수강기간 연장 문의드립니다.
0
58
2
문제 3-2 질문드립니다
0
47
2
수강기간 연장 문의 드립니다.
0
61
2
변수, 칼럼 , df 구분
0
51
2
수강기간 연장 문의드립니다.
0
50
2
수강기간 연장 문의
0
49
2
수강기간 연장 문의드립니다.
0
42
2