target = train.pop('target') cols = ['gender', 'enrolled_university', 'education_level', 'major_discipline', 'experience', 'company_size' , 'company_type', 'last_new_job'] for col in cols: train[col] = train[col].fillna(train[col].mode()[0]) test[col] = test[col].fillna(test[col].mode()[0]) from sklearn.preprocessing import LabelEncoder cols2 = train.select_dtypes(include='O').columns for col in cols2: le = LabelEncoder() train[col] = le.fit_transform(train[col]) test[col] = le.transform(test[col]) # 결측치 처리 train = train.fillna("X") test = test.fillna("X") # train과 test 합쳐서 원핫인코딩 combined = pd.concat([train, test]) combined_dummies = pd.get_dummies(combined) n_train = len(train) train = combined_dummies[:n_train] test = combined_dummies[n_train:] 저는 위의 방식으로 풀었고 풀이는 아래 방식으로 풀었는데, result.csv에서 roc_auc 결과를 비교하면 많이 다르게 나타납니당... 예를 들어 같은 인덱스임에도 제 방식에서는 roc_auc가 0.2로 나오는데 풀이에서는 0.02가 됩니다. 이 경우에는 풀이에 따라서 0,1로 완전히 다르게 인식되는데도 점수 받는데 상관이 없을까요..?
작업형2 이진분류 문제에서 평가지표로 roc_auc_score을 주고, pred결과 예시는 A,B와 같은 문자로 제시되어있는 경우에 model.predict_proba을 제출하는게 아니라 model.predict을 제출해야 되는건가요? 강의 1회독할 때 위와같은 경우에도 확률값을 나타내는 predict_proba 을 그대로 제출해도 된다들었는데, 알려주시면 감사하겠습니다! ( 직전에 동일한 질문올렸는데, 이상하게 질문이 삭제가 되어서 다시 올립니다.)
target값 분리를 하여 진행하는 경우에는 스케일링 전에 하면 되는지 후에 하면 되는지 궁금합니다 원핫인코딩을 하는 경우에는 수치형과 범주형을 구분하지 않아도 된다고 하셨는데 라벨인코더를 사용하는 경우에도 일치 할까요 ? 또한 추가적으로 minmax와 같은 수치형 스케일링이 필수적인지도 여쭤보고 싶습니다 ,,, ! 선택인 경우에는 어떤 경우에 하면 될지도 궁금합니다
안녕하세요 강사님 강의를 수강하는 학생입니다. 무한 스크롤링은 두 번째부터 보통 끝쪽 id 에 데이터를 기반으로 데이터를 불러오는 방식이 보통 커서 기반 페이지네이션과 큰 차이가 없는 건가요? (claude 나 ) 블로그 보면서 이것도 비슷한 개념인 거 같아서 질문 드립니다. @Entity @Table( name = "post", indexes = { @Index( name = "idx_post_board_created_id", columnList = "board_id, created_at DESC, post_id DESC" ), @Index( name = "idx_post_created_id", columnList = "created_at DESC, post_id DESC" ) } ) @Getter @NoArgsConstructor public class Post { @Id @GeneratedValue(strategy = GenerationType.IDENTITY) @Column(name = "post_id") private Long id; @ManyToOne(fetch = FetchType.LAZY) } 이렇게 엔티티에 인덱스를 만들어서 사용하는지 궁금합니다. 강의에서 처럼 SnowFlake도 보통 저렇게 인덱스를 만들어서 활용하는지도 궁금합니다.
[작업형2] 연습문제 섹션 3 Section 3. 항공권 가격 예측에서 문제 풀이를 보면 train = train.drop('flight', axis=1) test = test.drop('flight', axis=1) 원핫인코딩을 하면 컬럼수가 많아서져 flight를 삭제한다고 되어 있습니다.(기본에서요) 그런데 이해가 안되는게...flight 의 가격을 예측하는건데 이것을 삭제하고 모델을 학습 시킨다는게 이해가 안되거든요...
random_state=0을 아래에서 처럼 분리할때랑 , 학습할때 총 두번넣어줘도 상관없을까요? # 검증용 데이터 from sklearn.model_selection import train_test_split X_tr, X_val, y_tr, y_val = train_test_split(train, target, test_size= 0.2 , random_state = 0 ) # 모델 학습 및 평가 from sklearn.ensemble import RandomForestRegressor model = RandomForestRegressor(random_state=0) model.fit (X_tr, y_tr) pred = model.predict(X_val)
[작업형2] 연습문제 섹션 4 에서 train과 test를 합하고 나눌때 저는 iloc을 사용했는데 문제 풀이는 iloc을 사용 안 했더라구요. 이전? 강의들에서는 사용했던거 같은데... 그런데 둘 다 오류는 안나도 답이 나오긴 한네요. 무슨 차이 일까요? 제 코드.. df = pd.concat([train,test]) df = pd.get_dummies(df) train = df.iloc[:len(train)] test = df.iloc[len(train):] 강의 코드 # train과 test 합쳐서 원핫인코딩 combined = pd.concat([train, test]) combined_dummies = pd.get_dummies(combined) n_train = len(train) train = combined_dummies[:n_train] test = combined_dummies[n_train:]
문제3에서 주어진 내용이 시험과 동일한건가욥?? 주어진 데이터에서 ‘co’와 ‘nmhc’ 컬럼을 각각 Min-Max 스케일링하시오. 스케일링된 ‘co’, ‘nmhc’ 컬럼의 표준편차를 각각 구하시오. ‘co’ 컬럼의 표준편차에서 ‘nmhc’ 컬럼의 표준편차를 뺀 값을 소수점 3자리로 반올림하여 구하시오. 해당 3.에서 2.와 같이 '스케일링된'이라는 말이 없어서 뜬금 없지만(?) 스케일링되지 않은 ‘co’ 컬럼의 표준편차에서 ‘nmhc’ 컬럼의 표준편차를 빼서 출력했는데 이렇게 명확한 형용사가 없어도 앞 내용에 맞게 생각해서 출력해야 할까요??
연습 문제 6에서는 다수의 범주, 수치형 컬럼에 결측치가 있는데, 최빈값, 중앙값이 아닌 특별히 범주형은 X로 수치형은 -1 으로 결측치를 채운 이유가 있을까요? RandomForest은 결측치가 마킹을 해도 어느정도 학습이 가능하다고 알고 있는데, 다른 모델들도 마찬가지로 X, -1으로 마킹해도 학습이 가능한걸까요? 아니면 RandomForest만의 장점인가요?
저만 이런걸 수 있지만... 결과 화면 보려고 링크 썼더니 이렇게 나옵니다. 10장( https://browser.engineering/widgets/lab10-browser.html )은 잘 출력되는 것 같은데... 11장[ 링크 ], 12장[ 링크 ]은 아래 그림처럼 나오네요. 혹시 제가 잘못한 점이 있는지, 있다면 어떤 부분을 수정해야 하는지 알려주세요! 다른 링크가 있다면 같이 안내해주시면 좋을 것 같습니다.
제가 이제 만으론 28살이지만 내년에 한국나이로 30살입니다! 여태까지 자격증만 따느라 언어 실력이 많이 부족합니다. 알고리즘은 백준으로는 골드 2이고 현재 스프링을 통해 DB 없는 웹 CRUD 만 만들 수 있는 수준 (SQL은 이제 공부하려고 합니다) 인데 싸피 16기 입과가 7월이어서 수료하면 한국나이 31살이 넘는데 싸피 모집일까지 기다렸다가 싸피를 가는게 좋을까요 아니면 내년 초에 바로 시작할 수 있는 프로그래머스, 멋사, 코드잇 같은 다른 B급 부캠을 가는게 좋을까요? 나이를 먹어가니까 뭔가 다급해지는 경향이 있어서 여쭤봅니다 ㅠㅠ 모아둔 돈은 넉넉해서 돈 관련해서는 여유롭습니다! 그리고 커리어에 군경력을 추가하는게 좋을지도 궁금합니다! 계속 여쭤봐서 죄송합니다ㅜㅜ
