173만명의 커뮤니티!! 함께 토론해봐요.
미해결
[개정판] 파이썬 머신러닝 완벽 가이드
GridSearchCV 에 y_test 값을 주지 않아도 알아서 정확도를 추론해 내는 걸 보니, 굳이 GridSearchCV 의 인자로 X_train 과 y_train 을 줘야할 이유가 있을까요? 그냥 titanic_df의 피처값과 타겟값을 GridSearchCV 의 인자로 던져주는 것이 우리의 목표인 accuracy를 향상시키는 방법 아닌가요?
미해결
[개정판] 파이썬 머신러닝 완벽 가이드
p.327쪽에서 위와 같이 lr.coef_ 의 회귀계수 값과 X_data.columns 의 피처 변수명을 맵핑시키는 데.. 이게 제대로 맵핑되는 원리가 무엇인가요? lr에 이미 X_data도 학습을 시켜 놓았으니 각 회귀계수별 피처명 정보가 어딘가에 들어가 있는 것이고, 이를 X_data.columns로 뽑아온다...? 맞나요..?
해결됨
[개정판] 파이썬 머신러닝 완벽 가이드
안녕하세요 강의 잘듣고 있습니다! 다름이 아니라.. graphviz 이용해서 주피터로 시각화를 진행하고 나서 전체 구조를 한눈에 파악하는 방법 없나요..?? 트리 깊이가 너무 깊어서 옆에 잘리는게 생깁니다 ㅜㅜ
미해결
[개정판] 파이썬 머신러닝 완벽 가이드
1명의 확실한 P 예측과 나머지를 모두 N으로 예측했을 때 정밀도가 100%가 된다고 말씀하셨습니다. 이 경우에 재현율도 1 / 1+0 해서 100%되지 않나요?
미해결
[개정판] 파이썬 머신러닝 완벽 가이드
안녕하세요 선생님! 지난번에 보내주신 쿠폰은 정말 감사했습니다. 덕분에 다음으로 공부할 것에 대해 계획할 수 있었습니다. 개인 공부중에 궁금한 것이 있어 이렇게 여쭤봅니다. 제가 사이버보안 분야를 머신러닝으로 향상시키는 것에 관심이 있는데요. 마침 앙상블 수업을 듣던 와중에 개인적으로 공부하고 있던 IDS(침입탐지) 데이터 셋 관련해서 어떤 아이디어가 생겨서요. 이 데이터셋은 다중 분류에 해당되는 것인데요. 공격 패턴이 15가지(라벨) 정도라고 가정하겠습니다.이 라벨들을 저만의 방법으로 새로 분류하여 새로운 라벨들을 추가하여 만들어서 각각 학습하고 테스트를 진행해봤습니다. 첫번째로, 이진 분류로 라벨을 0, 1로 다시 만들어서 모든 공격들은 1로 분류하고, 일반적인 것(양성,Benign)들은 0으로 분류하는 것이죠. 즉, 공격이긴 공격인데 어떤 공격인지는 모르는 정도로만 시스템이 탐지하는 것입니다. 이럴 경우, 정확도, 정밀도, 재현율이 모두 99.97%로 아주 높은 확률로 탐지를 해냅니다. 두번째 분류는 비슷한 공격 패턴끼리 묶어서 그룹화를 한 뒤(즉, 라벨의 수를 줄이는 것입니다.) 학습 및 테스트를 하는 것입니다. 이럴 경우에도 아주 높은 점수를 보였습니다. 마지막 분류는 원래 라벨들입니다(전처리 작업 후). 역시 높은 점수를 보이긴 하나, 약간 낮은 점수를 보이는 일부 라벨들이 있습니다.그래서 말인데요. 혹시 이 세가지 모델을 연결해서 결과를 추출하는 방법이 있을 까요? 예를 들어, 먼저 공격인지 아닌지를 보고(첫번째 분류), 공격이라면 어떤 그룹에 속하는 지 보고(두번 째 분류), A라는 그룹이라면, 마지막 단계의 분류에서 세부적으로 어떤 라벨인지(세번째 분류)를 예측해내는 것이죠. 이렇게 연계하여 결과를 예측할 수 있는 모델을 만든다면, 점수가 약간 낮은 라벨들도 일부 보완할 수 있지 않을 까 생각되어서요. 아이디어는 떠올랐는데, 구글에 검색해보니 앙상블이나, 파이프라인 등의 관련된 내용만 검색이 되어서요. 혹시 제가 모르는 어떤 기술이 있을까요? 선생님의 조언을 구합니다.
미해결
[개정판] 파이썬 머신러닝 완벽 가이드
안녕하세요. 강사님의 여러 강의를 듣고 큰 도움을 받고 있습니다. 제가 궁금한 것은, 실제 업무 영역에서 분류모델을 적용하는 과정입니다. 모델을 생성한 후, 실제 타겟값을 알 수 없는 현실데이터에 적용을 해야 할 때, 어떤 데이터로 만든 모델을 적용해야 하는지 궁금합니다. 예를 들어서 강의에 따르면, 랜덤포레스트의 경우, 구축된 데이터 중에서 학습/테스트를 나누고 학습데이터를 가지고 모델을 만들고 테스트데이터를 가지고 최종정확도 성능을 확인하잖아요. 그리고 나서 이제는 타겟값을 알 수 없는 데이터에 적용을 하는 거잖아요. 그때 사용하는 머신러닝모델은 테스트데이터에서 높은 정확도가 나온 '학습데이터로 만든 모델'을 적용하는 거라고 생각하는데요. 그런데, 최종적으로 높은 성능을 보인 모델의 하이퍼파라미터값을 학습데이터와 테스트데이터를 다 합친 것에 적용해서 최종 모델을 생성하고 실제로 타겟값을 알 수 없는 모델에 적용하는 건 괜찮은 걸까요? 궁금해서 여쭤봅니다. 항상 감사드립니다.
해결됨
[개정판] 파이썬 머신러닝 완벽 가이드
머신러닝을 통해 하나의 데이터 값이 어느 값을 가질지 예측하는 결과를 알 수는 없나요? 예를 들어 여러 붓꽃데이터를 학습시킨 다음에 하나의 붓꽃데이터를 준 후 기계가 이 붓꽃데이터가 어디에 들어가는지 판별하는것을 알 수 있나요?
해결됨
[개정판] 파이썬 머신러닝 완벽 가이드
안녕하세요! 멋진 강의를 들을 수 있어서 감사하고 있습니다. 잠재요인 기반의 협업필터링 이해와 경사하강법을 이용한 행렬 분해 18:12 에서 나오는 L2 규제에 대해 궁금한 점이 있어서 문의 드립니다. 수학에 약해서 공부해볼겸 수학적으로 해석을 하려는데, 다른 사이트의 참고 내용들을 보다보니 L2 규제에 시가마가 들어가던데 여기서는 안 들어가는 이유가 무엇인지 궁금합니다. 감사합니다!
미해결
[개정판] 파이썬 머신러닝 완벽 가이드
24:04 코드에서 왜곡된 분포 정도를 낮추기 위해 log변환으로 스케일링을 하였는데 StandardScaler로 한번 더 변환을 하는것이 의미가 있는지 궁금합니다 이유가 무엇인가요?
미해결
[개정판] 파이썬 머신러닝 완벽 가이드
데이터 전처리 - 스케일링 - 01 강의 1분47초에서 표준화로 데이터의 피처 각각이 평균이 0 이고 분산이 1인 가우시안 정규분포로 바꿔준다고 했는데요. 원래 데이터가 정규분포를 가졌다면 xi_new (표준화 식)식 으로 평균이 0 이고 분산이 1인 정규분포를 도출할 수 있지만 애초에 정규분포를 이루지 않는 데이터의 경우 는 해당 식을 적용한다고 해서 정규분포가 되지 않을 텐데 이런 경우는 어떻게 해서 정규분포로 만든다는 것일까요? 답변 부탁드립니다. 감사합니다.
해결됨
[개정판] 파이썬 머신러닝 완벽 가이드
안녕하세요~! 본 강의에서는 사용되지 않았지만 다중공선성 제거를 위해 VIF 10 이상인 피쳐들은 drop하는 게 성능에 더 좋다고 하여 해당 방법을 적용하였는데 오히려 RMSE값이 0.3~0.5 정도 커지는 결과가 나타났습니다.(선형회귀, 릿지, 라쏘) VIF 제거 외에는 강의해주신 내용도 거의 유사한 방식으로 전처리 적용하였습니다. 1. VIF 10 이상인 피쳐들을 제거하는 게 예측률 향상에 무조건 좋은 것은 아닌건가요? 2. 만약 그렇다면 다중공선성 제거를 위한 추가적인 기법이 있을 것 같은데, 대표적으로 활용되는 방법이 어떤게 있을까요? 3. 마지막으로, VIF 10 이상인 피쳐들은 제거하여 성능이 향상되는 데이터셋의 대표적인 예와, 적용이 잘 안되는 예가 있을까요? 이번에도 애매한 질문을 드리는 점 죄송합니다. 아시는 수준에서 답변 주시면 정말 감사하겠습니다^^
해결됨
[개정판] 파이썬 머신러닝 완벽 가이드
안녕하세요! ML공부하면서 강의 정말 많이 도움이 되고 있습니다^^ ㅇ skew를 사용한 왜곡도 제거부분에서(강의 8:00~10:00 부분) 1. skew 대신 standardscaler를 사용해 표준화 시키는 것은 단점이 있나요? (정규분포를 만들어주기 때문에 skew보다 더 정리를 잘해줄것 같은 생각이 듭니다.) 2. 또한 log를 씌워 정규분포와 비슷하게 만들어준다고 하셨는데, 이부분 또한 standardscaler를 적용하면 안되는 걸까요? ㅇ GrLivArea 이상치를 제거하는 부분에서(강의 14:00~18:00 부분) 1. 다른 이상치 제거방법(사분위수)을 써도 되는지? 2. 이상치 제거할 때 테스트 데이터에 이상치가 있는지 확인하고 제거하라고 하셨는데 학습검증단계에서 테스트 데이터를 참고해도 되는건가요? ㅇ 전처리 과정 순서를 기본전처리(null, 범주형 변환 등) → standardscaler → 이상치제거(IQR 등) → minmaxscaler 이렇게 기본틀로 잡고 머신러닝을 진행하고 있었는데 돌리는 모델이나 데이터별로 달라져야할까요? ㅇ 마지막으로, house price 타켓 컬럼을 log변환해서 학습을 진행을 하셨는데, 타겟값만 log를 씌워주고 다른 값들은 log를 안씌운 상태에서 학습을 하게되면 오류(수치상의 차이 기반)가 발생할 가능성은 없을까요? 질문이 난잡하긴 한데 간략하게나만 답변 주시면 감사하겠습니다! 감사합니다.
미해결
[개정판] 파이썬 머신러닝 완벽 가이드
안녕하세요. 강의 듣다가 궁금증이 생겨서 질문 드립니다. 이 Bike Sharing Demand 데이터 실습에서 원핫인코딩을 수행할 때, 인코딩을 먼저 수행 후 train과 test를 분리했는데, 실전을 포함해서 test 데이터가 이미 분리된 상태로 주어진 경우 도 많은 것 같아요. 근데 이럴 때 train과 test 각각 따로 인코딩을 수행하면 특정 칼럼에 대해 서로 없는 범주가 포함될 수 있을 것 같습니다. (예를들어 train에는 개/고양이만 있는데, test에는 개/고양이/원숭이 범주까지 있다던지..) 이 경우에 칼럼 갯수에도 차이가 발생할텐데 이때 모델 학습/예측시에 문제가 발생하지 않나요? 그렇다고 pd.concat 등으로 데이터를 합치고서 인코딩을 수행 후 다시 분리하면 데이터 리키징 문제가 발생한다고 들었습니다. (아니라면 말씀해주세요!) 머신러닝/딥러닝 강의 계속 잘 듣고 있습니다. 감사합니다.
해결됨
[개정판] 파이썬 머신러닝 완벽 가이드
파이썬래퍼 XGBoost가 기존에 하던 예제들과 좀 차이가 나서 이해하는데 어려움이 좀 있는데 현업에서 좀 많이 쓰이는 편인가요? 아니면 사이킷런 래퍼 XGBoost만 이해할정도가 되도 지장이 없을까요 ?
해결됨
[개정판] 파이썬 머신러닝 완벽 가이드
n_estimators와 같은 하이퍼 파라미터를 고려할 땐 무조건 예측 성능이 높게 나오는 하이퍼 파라미터를 선택하는것이 옳나요?
미해결
안녕하세요, 현재 과제 중에 데이터 추출해서 상자그림을 만들고, 그에 대한 스토리를 만들어야하는데 해석이 잘 안되서요.. 우선 주제는 유럽과 아시아의 자살률 비교로 상자그림을 만들었어요. 이 상자그림을 보고 알 수 있는 스토리 몇가지만 알려주시면 정말 정말 감사하겠습니다ㅜㅜ 부탁드려요
미해결
[개정판] 파이썬 머신러닝 완벽 가이드
https://www.inflearn.com/questions/499562 이 글에 저만 빼고 답변해주시는데 이유가 뭘까요.
해결됨
[개정판] 파이썬 머신러닝 완벽 가이드
선생님, 사용자 패턴을 학습해서 목적지 예측을 하는 모델을 구현하고 싶습니다. 현재 아래와 같은 Sample Dataset을 만들었는데요 :) 데이터 전처리를 어떻게 해야할지 잘 모르겠습니다. 일단 day_of_week 피처는 원핫 인코딩으로 처리하려고 하고 출발 시간 피처(hour,min)은 log 값으로 scaling 하려고 합니다. 여기까지는 올바른 방향이 맞을까요? 또 시작 좌표(start_lat, start_lon)와 목적지 좌표(end_lat, end_lon) 를 어떻게 처리해야할까요? 일단 제가 생각한 것은 각각 좌표 지점을 군집화하여 원핫 인코딩으로 바꾸는 것을 생각했습니다. 아직 군집화 수업을 듣기 전이라 이것도 맞는 방향인지 모르겠습니다. 선생님께서 생각하는 방향과 제가 생각한 방향이 일치할지 모르겠습니다. 또 제가 잘못 생각하고 있는 부분이 있으면 말씀부탁드려요 :)
미해결
[개정판] 파이썬 머신러닝 완벽 가이드
데이터 분석을 하던 중 target 값이 왜 로그변환이 되어야 하는지 잘 모르겠습니다. 왜 로그 변환을 하는 것인가요?
미해결
[개정판] 파이썬 머신러닝 완벽 가이드
안녕하세요. 아래와 같이 13개 feature 모두 그래프로 그려보았습니다. 그런데 하단을 보면 AGE, B, INDUX, TAX feature는 price와의 회귀 직선이 음의 상관관계로 나오는데, 강의에서 coef를 보면 0으로 나옵니다. 그리고 RAD는 그래프로 보면 음의 상관 관계인데 coef는 0.4가 나옵니다. 개별 feature들과 price간의 관계를 보면 음의 상관관계인데 모든 feature들을 이용해 linear regression을 만들어봤을 때의 coef는 각 개별 상관관계와는 다르게 될 수도 있는 것인지요?
