Yoonseok Choi

갑자기 됩니다.. 콘다탭도 뜨구요. 감사합니다!!

주피터에 conda가 안뜹니다.

conda 탭이 안뜨는거 맞습니다. 강사님 말씀하신대로 하고 제 아이피:8888 해서 주피터 들어가는데 갑자기 사이트에 연결할 수 없다고 뜨네요ㅜ 그냥 둘걸 그랬나봐요
<span style="color: #333333; font-family: 'Noto Sans KR', -apple-system, system-ui, BlinkMacSystemFont, 'Apple SD Gothic Neo', 'Segoe UI', Roboto, 'Helvetica Neue', Arial, sans-serif, Oxygen, Ubuntu, Cantarell, 'Fira Sans', 'Droid Sans', Helvetica; font-size: 16px; background-color: #ffffff;">tf113에서 강사님이 적어주신 #부터 모두 다 실행했어요

1. base에서 kill -9, ./start_jn.sh
2. tf113에서 ./start_jn.sh
이전 단계에서 tf113 제대로 설치된 상태입니다
주피터에서 New 누르면 파이썬2에서 tf115까지 다 나와요. 강사님 화면이랑 모든게 같았는데 주피터에 conda만 안 떠요

배깅에서 데이터 중복 샘플링 관련

그럼 데이터 세트를 학습, 검증, 테스트 데이터로 나눠야하면, train_test_split으로 나눈 데이터에서 train 데이터를 다시 train 데이터를 train데이터와 검증데이터로 나누는 식으로 하면 될까요?
강의에서는 데이터가 충분치 않아서 테스트 데이터를 검증데이터로 쓰신거구요.

추가로
1. 다른 분류기와 달리 GBM에 eval_set가 필요한 것이, gbm이 weak learner가 학습한 후 검증데이터로 오류를 산출하고 순차적으로 업데이트 하는 과정때문이라 그런가요? 만약 그렇다면 모델이 검증데이터에 과적합이 되진 않는지 궁금하네요.

2.&nbsp; 책 p.228에 XGBM은 자체내장된 교차검증이 있다고 하는데 .fit 메소드를 쓰면 train 데이터와 eval_set을 이용하여 cross_val_score 처럼 교차검증이 이루어지는 건지 궁금합니다.
만약 그렇지 않다면 fit메소드로는 교차검증을 하지 않고 지속적으로 업데이트 되는 모델이 eval_set으로만 검증을 진행하나요?&nbsp; test 데이터를 검증데이터로 쓰셨고, test_size = 0.2니까 전체 데이터의 20%만 검증에 사용된건가요?&nbsp;

eval_set가 뭐하는건가요??

답변이 전체적으로 잘 이해가 가지 않습니다ㅜ
1000개의 데이터 세트를 수십 수백개 확보한다는 말씀이신가요?&nbsp;
데이터 세트별로 구한 평균들의 분포도를 기반으로 데이터 분석을 한다고 이해가 되는데, 그럼 세트별로 구한 평균들의 평균과 분산 등을 분석에 다시 사용한다는 말씀인거죠??

얼마 전 오프라인 교육에서 강사님이 신규데이터끼리 따로 스케일링을 새로 한다길래 의아했었는데, 질문하기 잘했네요.
항상 친절한 답변 정말 감사합니다.

데이터 표준화에 대한 질문입니다.

그리고 x_data에는 원핫인코딩 외에 로그변환같은걸 취하지 않으셨는데, 만약 데이터 돌려보고 성능이 별로면 로그변환같은걸 시도해보고 그런 식으로 진행되는건가요??
로그변환하면 예측성능이 좋아질 것 같은데 하지 않으시는 이유가 궁금합니다

원핫인코딩 피처 선정에 대한 질문입니다.

1. 만약 범위가 0부터 100까지인 학습 데이터 세트를 min, max 스케일링 하면, x=(x-x.min)/(x.max-x.min)이 적용되어 최소값0은 0, 최대값 100은 1로 스케일링이 되잖아요.
그런데 -10부터, 200까지인 신규 데이터 세트가 들어오면, x=(x-x.min)/(x.max-x.min) 공식에서 x.min과 x.max가 학습데이터의 것이 활용되어 스케일링이 되는건가요?
이렇게 됐을 경우 계산해보면 신규데이터는 -0.1에서 2까지의 범위를 갖게 되는데 제가 이해한 것이 맞는지 확인 부탁드립니다.

2. 위의 개념이 StandardScaler에도 똑같이 적용이 되는 것이죠?? 학습데이터에서 fit한 변수? 객체? (scaler = StandardScaler()일 때 scaler)를 통해 검증데이터와 신규데이터 똑같이 변환하여, mean(x)와 stdev(x)가 학습데이터 셋의 것이 사용되나요?

3. 그리고 이런 데이터 변환들은 피쳐들이 모두 연속형 데이터일때만 사용되나요?? 10개의 피처 중에 하나의 피처가 범주형 데이터일 때는 사용하지 않는건지 아니면 9개의 연속형 데이터에만 적용해서 사용하는지 궁금합니다.

추가로 강의에서는 classification에만 차원축소를 적용하셨는데, regression에서도 동일하게 적용해도 무방한가요?

Yoonseok Choi

Posts