inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

묻고 답해요

176만명의 커뮤니티!! 함께 토론해봐요.

원핫인코딩 전 train과 test 병합여부

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

여기선 그냥 원핫인코딩을 하셨는데, 다른 설명에선 concat으로 train 데이터와 test 데이터를 병합하고 인코딩을 해야 열 수가 같다고 하셨는데, 여기선 그냥 하셨네요 train.info(), test.info() 등으로 칼럼 이름이 같은지 확인되면 지금처럼 바로 인코딩 하면 될까요?

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
YEONSUK BAE 댓글 2 좋아요 0 조회수 75

수강기간 연장

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

안녕하세요~ 13회차 실기 준비중인 수강생인데, 현재 수강중인 강의가 10월 31일 만료입니다. 그러나 13회차 실기가 11월 28일으로 시험일자까지 수강 연장이 필요합니다. ㅠㅠ 오징어게임도 수강신청했습니다. 오징어게임과 더불어 본 강의를 수강 반복해서 꼭 합격하고 싶습니다. 이번이 마지막 실기 기회여서 절박합니다. 시험일자까지 연장 가능하다면 수강기간 연장을 통해 마지막 실기에 합격하고 싶습니다. 답변부탁드립니다. yunina0314@gmail.com 감사합니다.

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
비비빅 댓글 2 좋아요 0 조회수 84

Spark 3.5에서 pandas의 NaN이 NULL로 바뀌지 않을 때

미해결

스파크 머신러닝 완벽 가이드 - Part 1

로컬에서 Docker 이미지( mcr.microsoft.com/mmlspark/release:latest )로 PySpark 환경을 구성해 강의를 듣고 있습니다. 강의에서는 Spark가 업데이트되면서 pandas DataFrame의 np.nan이 Spark DataFrame으로 변환될 때 null로 바뀐다고 설명되어 있었습니다. 그런데 제 환경에서는 여전히 NaN으로 남아 있었습니다. 확인해보니 이 이미지의 latest 태그는 Spark 최신 버전이 아니라 SynapseML 최신 버전 기준이었고, 실제 설치된 버전은 Spark 3.5.4였습니다. 이 버전에서는 Arrow 최적화가 기본적으로 꺼져 있어서 NaN이 그대로 유지되는 것으로 보입니다. 아래처럼 Spark 세션을 만들 때 Arrow 옵션을 켜 주니 NaN이 null로 변환되는 것을 확인했습니다. spark = ( SparkSession.builder .config("spark.sql.execution.arrow.pyspark.enabled", "true") .appName("SparkML") .enableHiveSupport() .getOrCreate() ) Spark를 잘 아는 편이 아니라서 이 방법이 근본적인 해결책인지는 확실하지 않습니다. 더 좋은 방법을 알고 계신다면 공유해 주시면 감사드리겠습니다.

  • 머신러닝
  • 빅데이터
  • apache-spark
  • 데이터-엔지니어링
임해빈 댓글 1 좋아요 0 조회수 74

29강 작업2형의 이상치 처리

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

12회에 작업형2 데이터에 음수값이있었잔아요. 29강과같이 train데이터의 특정 컬럼이 양수인데이터만 다시 train에 저장하는방법으로 했다면 랜포나,부스터계열 어떤걸사용했더라도 점수 받을 수 있었을까요? 아니면, 12회 작업형2문제의 경우 여러컬럼에 음수값이 많이 분포되어 있어서, 모두 삭제하기보단 12회풀이해주신대로 clip사용해서 음수값은모두0으로 처리한게 적절할까요.. 두처리방법 중 어떤방법이 더 점수가 잘나오는건지요..

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
soan Kim 댓글 2 좋아요 0 조회수 93

수강기간 연장 문의드립니다!

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

안녕하세요, 13회차 시험 준비중인 수강생입니다. 현재 10/28까지 수강 가능 기간이라 한 달만 수강 기간 연장을 요청드려도 될지 문의드립니다. 제 메일은 ych6133@daum.net입니다. 많은 도움 받고 있어 강의 수강이 꼭 필요합니다ㅠ 검토 부탁드립니다...!

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
염찬희 댓글 2 좋아요 0 조회수 79

9월에 실기출제기준 개정내역에 신설된부분

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

9월에 실기출제기준 개정내역에 신설된부분이 있던데 (데이터 탐색작업-기초통계산출하기,데이터 분포 분석하기, 변수간 관계확인하기) 이부분이 앞으로 출제될 13회 작업형 1,2,3과목에 어떤영향을 줄까요..

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
soan Kim 댓글 1 좋아요 0 조회수 82

실기 문제 구성?

미해결

빅데이터 분석기사 시험 실기(Python)

앞 OT 강의에 실기 문제구성은 답답형 10개, 문제 1유형, 문제 2유형으로 구성된다고 설명되어있습니다 제가 아는 빅분기는 문제 1유형, 2유형, 3유형으로 구성되어 있는걸로 아는데 바뀐걸까요?

  • python
  • 빅데이터
wkdtmddn 댓글 0 좋아요 0 조회수 50

실기 문제 구성?

미해결

빅데이터 분석기사 시험 실기(Python)

앞 OT 강의에 실기 문제구성은 답답형 10개, 문제 1유형, 문제 2유형으로 구성된다고 설명되어있습니다 제가 아는 빅분기는 문제 1유형, 2유형, 3유형으로 구성되어 있는걸로 아는데 바뀐걸까요?

  • python
  • 빅데이터
wkdtmddn 댓글 0 좋아요 0 조회수 46

작업형2 모의문제2 결과값 관련 문의드립니다.

미해결

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

https://colab.research.google.com/drive/1vJz33RoI79OaulL4tJlIkHp3X66tjjKE 제가 풀이한 코드입니다. 작업형2 모의문제2를 풀 때마다 어떤 모델을 써도 계속 price 예측값에 마이너스가 포함되어 결과값 검증이 불가해집니다. 강의와 함께 여러번 훑어봐도 어떤 부분에 오류가 있는지 찾기 어려워 질문드립니다. 감사합니다.

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
가람삐 댓글 2 좋아요 0 조회수 90

12회차 시험 실패 후 13회 도전 예정입니다.

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

12회차 시험 실패 후 13회 도전 예정입니다. 12회차 시험환경에서 catrl / 복사 가 너무 힘들었던 경험이 있습니다. 이상하게 기능 작동이 안해서 엄청 나게 불편했었는데 오래 되어서 기억이 나지 않네요 이 문제 주의점 공유 부탁드려 합니다.

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
jgw1717 댓글 1 좋아요 0 조회수 72

random_state 값

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 random_state 값을 0으로 하는데도 계속 RMSE값이 고정되지 않고 계속 바뀌는데 정상적인걸까요..

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
강지훈 댓글 2 좋아요 0 조회수 97

19강 감정분석 강의처럼 api 돌렸는데

미해결

베개 투자법: 자면서 돈 버는 AI 주식 자동 매매 머신

{ "message": "8개의 티커(추천 주식: 8개, 보유 주식: 0개)를 분석했습니다", "results": [ { "ticker": "SBUX", "stock_name": "스타벅스", "message": "관련 기사 없음", "is_recommended": true, "is_holding": false, "recommendation_info": { "Stock": "스타벅스", "Accuracy (%)": 92.14043842819059, "Rise Probability (%)": 12.727200426674415, "Last Actual Price": 90.75, "Predicted Future Price": 102.29993438720703, "Recommendation": "STRONG BUY", "Analysis": "스타벅스 is expected to rise by about 12.73%. Consider buying or holding." }, "holding_info": {} }, { "ticker": "INTC", "stock_name": "인텔", "message": "관련 기사 없음", "is_recommended": true, "is_holding": false, "recommendation_info": { "Stock": "인텔", "Accuracy (%)": 93.7987479189803, "Rise Probability (%)": 12.57278347865132, "Last Actual Price": 104.69999694824219, "Predicted Future Price": 117.86370086669922, "Recommendation": "STRONG BUY", "Analysis": "인텔 is expected to rise by about 12.57%. Consider buying or holding." }, "holding_info": {} }, { "ticker": "ADBE", "stock_name": "어도비", "message": "관련 기사 없음", "is_recommended": true, "is_holding": false, "recommendation_info": { "Stock": "어도비", "Accuracy (%)": 90.450651791578, "Rise Probability (%)": 12.955434095756315, "Last Actual Price": 242.27000427246094, "Predicted Future Price": 273.6571350097656, "Recommendation": "STRONG BUY", "Analysis": "어도비 is expected to rise by about 12.96%. Consider buying or holding." }, "holding_info": {} }, { "ticker": "CMCSA", "stock_name": "컴캐스트", "message": "관련 기사 없음", "is_recommended": true, "is_holding": false, "recommendation_info": { "Stock": "컴캐스트", "Accuracy (%)": 95.23976238515455, "Rise Probability (%)": 6.15458756124334, "Last Actual Price": 20.65999984741211, "Predicted Future Price": 21.931537628173828, "Recommendation": "STRONG BUY", "Analysis": "컴캐스트 is expected to rise by about 6.15%. Consider buying or holding." }, "holding_info": {} }, { "ticker": "QQQ", "stock_name": "QQQ ETF", "message": "관련 기사 없음", "is_recommended": true, "is_holding": false, "recommendation_info": { "Stock": "QQQ ETF", "Accuracy (%)": 91.7769098764588, "Rise Probability (%)": 5.3851518359860675, "Last Actual Price": 751.27001953125, "Predicted Future Price": 791.72705078125, "Recommendation": "STRONG BUY", "Analysis": "QQQ ETF is expected to rise by about 5.39%. Consider buying or holding." }, "holding_info": {} }, { "ticker": "AMGN", "stock_name": "암젠", "message": "관련 기사 없음", "is_recommended": true, "is_holding": false, "recommendation_info": { "Stock": "암젠", "Accuracy (%)": 95.4656891769387, "Rise Probability (%)": 3.0218338941009795, "Last Actual Price": 414.8699951171875, "Predicted Future Price": 427.40667724609375, "Recommendation": "STRONG BUY", "Analysis": "암젠 is expected to rise by about 3.02%. Consider buying or holding." }, "holding_info": {} }, { "ticker": "AMAT", "stock_name": "어플라이드 머티리얼즈", "message": "관련 기사 없음", "is_recommended": true, "is_holding": false, "recommendation_info": { "Stock": "어플라이드 머티리얼즈", "Accuracy (%)": 87.49084067399022, "Rise Probability (%)": 5.585138734512719, "Last Actual Price": 507.0299987792969, "Predicted Future Price": 535.3483276367188, "Recommendation": "STRONG BUY", "Analysis": "어플라이드 머티리얼즈 is expected to rise by about 5.59%. Consider buying or holding." }, "holding_info": {} }, { "ticker": "PEP", "stock_name": "펩시코", "message": "관련 기사 없음", "is_recommended": true, "is_holding": false, "recommendation_info": { "Stock": "펩시코", "Accuracy (%)": 97.5355277707488, "Rise Probability (%)": 3.629828103934677, "Last Actual Price": 125.97000122070312, "Predicted Future Price": 130.54249572753906, "Recommendation": "STRONG BUY", "Analysis": "펩시코 is expected to rise by about 3.63%. Consider buying or holding." }, "holding_info": {} } ] } 이런식으로 관련시가사 없다고 나오기도 하나요? 유명한 기업들인데 관련시가사 없어서 아래 코드처럼 추천 주식 0 이 뜨던데. { "message": "통합 분석이 완료되었습니다", "technical_analysis": { "message": "24개의 추천 데이터가 생성되었습니다", "count": 24 }, "sentiment_analysis": { "message": "8개의 티커(추천 주식: 8개, 보유 주식: 0개)를 분석했습니다", "count": 8 }, "combined_results": { "message": "0개의 매수 추천 주식을 찾았습니다", "results": [] } }

  • python
  • 딥러닝
  • 빅데이터
  • FastAPI
  • 데이터-엔지니어링
jkl 댓글 1 좋아요 1 조회수 96

강의 연장 문의 드립니다.

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

안녕하세요. 빅데이터분석기사 13회차 시험을 준비하고 있는데, 현재 강의 수강 기간이 11월 8일까지라 혹시 강의 연장이 가능할지 조심스럽게 여쭙습니다. 번거로우시겠지만 연장해 주신다면 정말 감사하겠습니다. 검토 부탁드립니다. 감사합니다! 제 메일입니다 dlgnqud7@gmail.com

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
후곰 댓글 2 좋아요 0 조회수 90

강의 연장 문의

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

빅분기 실기 13회를 공부중인데, 10.12일까지 만료일자라서 13회까지 기간 연장 문의드립니다. 메일주소는 leewoongjae8@naver.com 입니다.

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
댓글 2 좋아요 0 조회수 81

16강에서 코드가 계속 안도길래. ai가 고쳐서 일단 supabase에 preditc 한 주가를

해결됨

베개 투자법: 자면서 돈 버는 AI 주식 자동 매매 머신

저장은 되게 되었습니다. 근데 이게 ai가 db에 그냥 아무 데이터나 넣게 학습 시키게끔 바꾼건지 잘 모르겠습니다. # 예전: 종목 목록을 만든 뒤 바로 스케일링했다. # 지금: 숫자가 하나도 없는 칸은 학습에서 뺀다. def columns_with_numbers(frame, columns): kept = [] dropped = [] for col in columns: numeric = pd.to _numeric(frame[col], errors='coerce') if col in frame.columns else pd.Series(dtype=float) if numeric.notna().any() and np.isfinite( numeric.to _numpy(dtype=float, na_value=np.nan)).any(): kept.append(col) else: dropped.append(col) return kept, dropped target_columns, dropped_targets = columns_with_numbers(data, target_columns) economic_features, dropped_econ = columns_with_numbers(data, economic_features) dropped_columns = dropped_targets + dropped_econ if dropped_columns: print(f"값이 없어 학습에서 뺀 칸: {dropped_columns}") if not target_columns or not economic_features: raise RuntimeError("학습에 쓸 숫자 칸이 없습니다.") # 예전: 빈 칸을 그대로 스케일러에 넣었다. # 지금: 남은 빈 칸은 앞뒤 날짜 값으로 채운 다음 스케일링한다. feature_columns = list(dict.fromkeys(target_columns + economic_features)) data[feature_columns] = data[feature_columns].apply( pd.to _numeric, errors='coerce').ffill().bfill() print("Scaling data...") train_size = int(len(data) * 0.8) train_data = data.iloc[:train_size] test_data = data.iloc[train_size:] data_scaled = data.copy() stock_scaler = MinMaxScaler() econ_scaler = MinMaxScaler() data_scaled[target_columns] = stock_ scaler.fit _transform(data[target_columns]) data_scaled[economic_features] = econ_ scaler.fit _transform(data[economic_features]) model = build_transformer_with_two_inputs(stock_shape, econ_shape, num_heads=8, ff_dim=256, target_size=len(target_columns)) # 예전: Adam(learning_rate=0.0001) # 지금: clipnorm=1.0 을 넣어 학습 중 숫자가 한없이 커지지 않게 했다. model.compile(optimizer=Adam(learning_rate=0.0001, clipnorm=1.0), loss='mse', metrics=['mae']) predicted_prices = model.predict([X_stock_full, X_econ_full], verbose=1) predicted_prices_actual = stock_scaler.inverse_transform(predicted_prices) # 예전: 예측하자마자 표로 만들고 저장했다. # 지금: 빈 칸 개수를 세고, 가격으로 되돌린 값이 전부 비어 있으면 저장하지 않고 멈춘다. raw_empty = int((~np.isfinite(predicted_prices)).sum()) inv_empty = int((~np.isfinite(predicted_prices_actual)).sum()) last_loss = history.history['loss'][-1] print(f"모델 출력 빈 값: {raw_empty} / {predicted_prices.size}") print(f"가격으로 되돌린 빈 값: {inv_empty} / {predicted_prices_actual.size}") print(f"마지막 학습 손실: {last_loss}") if inv_empty == predicted_prices_actual.size: raise RuntimeError( "모델 예측이 전부 비어 있습니다. " f"모델 출력 빈 값 {raw_empty}/{predicted_prices.size}, " f"가격 변환 빈 값 {inv_empty}/{predicted_prices_actual.size}, " f"마지막 학습 손실 {last_loss}. 데이터베이스는 수정하지 않았습니다." ) def save_predictions_to_db(result_df): try: # 예전: records = result_ df.to _dict('records') # 지금: 숫자는 그대로 두고, 비어 있는 칸만 null 로 바꾼다. records = json.loads(result_ df.to _json(orient='records')) if not records: raise ValueError("저장할 예측 결과가 없습니다.") # 예전: 넣을 내용을 확인하기 전에 기존 행을 지웠다. # 지금: 넣을 내용이 생긴 뒤에만 기존 행을 지운다. supabase.table("predicted_stocks").delete().neq("id", 0).execute() chunk_size = 100 for i in range(0, len(records), chunk_size): chunk = records[i:i+chunk_size] response = supabase.table("predicted_stocks").insert(chunk).execute() # 예전: 저장 응답이 비어 있어도 넘어갔다. # 지금: 응답이 비어 있으면 실패로 처리한다. if not response.data : raise RuntimeError(f"예측 결과 저장 응답이 비어 있습니다. offset={i}") print(f"{len(records)}개의 예측 결과가 데이터베이스에 저장되었습니다.") # 예전: 성공인지 실패인지 돌려주지 않았다. # 지금: 성공이면 True 와 빈 이유를 돌려준다. return True, None except Exception as e: print(f"데이터베이스 저장 오류: {e}") # 지금: 실패하면 False 와 실패 이유를 돌려준다. return False, str(e) # 예전: save_predictions_to_db(result_data) # print("모든 예측 결과가 DB에 저장되었습니다.") # 지금: 저장이 실패하면 성공이라고 말하지 않고, 이유를 보여 준 뒤 멈춘다. predictions_saved, save_error = save_predictions_to_db(result_data) if not predictions_saved: raise RuntimeError(f"예측 결과를 데이터베이스에 저장하지 못했습니다. 원인: {save_error}") print("모든 예측 결과가 DB에 저장되었습니다.") def get_predictions_from_db(chunk_size=1000): try: count_response = supabase.table("predicted_stocks").select("id", count="exact").execute() # 예전: total_count = count_response.count # 지금: 개수가 없으면 0으로 본다. total_count = count_response.count or 0 print(f"predicted_stocks 테이블의 총 레코드 수: {total_count}") # 예전: 행이 0개여도 날짜 칸을 읽다가 오류가 났다. # 지금: 행이 0개면 날짜를 읽지 않고 None 을 돌려준다. if total_count == 0: print("predicted_stocks 테이블에 데이터가 없습니다.") return None all_data = [] for offset in range(0, total_count, chunk_size): response = ( supabase.table("predicted_stocks") .select("*") .order("날짜", desc=False) .limit(chunk_size) .offset(offset) .execute() ) # 예전: chunk_data = response.data # 지금: 응답이 비어 있으면 빈 목록으로 본다. chunk_data = response.data or [] all_data.extend(chunk_data) df = pd.DataFrame(all_data) # 예전: 날짜 칸이 없어도 df['날짜'] 를 읽었다. # 지금: 표가 비었거나 날짜 칸이 없으면 None 을 돌려준다. if df.empty or '날짜' not in df.columns: print("가져온 데이터에 '날짜' 컬럼이 없습니다.") return None df['날짜'] = pd.to _datetime(df['날짜']) return df except Exception as e: print(f"데이터 가져오기 오류: {e}") return None # 예전: # data = get_predictions_from_db(chunk_size=1000) # if data is None or len(data) == 0: # print("데이터를 가져오는데 실패했습니다.") # exit(1) # target_columns = ['애플', '마이크로소프트', ...] # 지금: 데이터베이스를 다시 읽지 않고, 방금 만든 예측표를 그대로 평가한다. # 종목 목록도 다시 적지 않고, 위에서 걸러 둔 target_columns 를 쓴다. data = result_data.copy() data['날짜'] = pd.to _datetime(data['날짜']) forecast_horizon = 14 evaluation_results = evaluate_predictions(data, target_columns, forecast_horizon) rise_results = analyze_rise_predictions(data, target_columns) # 예전: 비교할 예측이 없어도 바로 두 표를 합쳤다. # 지금: 평가 결과가 비어 있으면 합치지 않고 멈춘다. if evaluation_results.empty or 'Stock' not in evaluation_results.columns: raise RuntimeError("평가할 예측값이 없습니다. 실제 가격과 예측값을 합치지 않습니다.") final_results = pd.merge(evaluation_results, rise_results, on='Stock', how='outer') 이런식으로 바꾸었어요 AI가

  • python
  • 딥러닝
  • 빅데이터
  • FastAPI
  • 데이터-엔지니어링
jkl 댓글 1 좋아요 2 조회수 90

오징어게임

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

혹시 오징어게임을 구매했는데 강의는 샀는데 시나공책도 필수인가요??

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
13 rn 댓글 1 좋아요 0 조회수 91

16강 구글 colab 에서 코드 실행이 안돼요.

미해결

베개 투자법: 자면서 돈 버는 AI 주식 자동 매매 머신

모든 예측 결과가 DB에 저장되었습니다. predicted_stocks 테이블의 총 레코드 수: 0 총 0개 데이터를 성공적으로 가져왔습니다! 데이터 가져오기 오류: '날짜' 데이터를 가져오는데 실패했습니다. --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) /tmp/ipykernel_921/1990775403.py in <cell line: 0>() 520 521 # 3) Evaluate predictions --> 522 evaluation_results = evaluate_predictions(data, target_columns, forecast_horizon) 523 print("============ Evaluation Results ============") 524 print(evaluation_results) /tmp/ipykernel_921/1990775403.py in evaluate_predictions(data, target_columns, forecast_horizon) 382 383 # Check if the columns exist --> 384 if predicted_col not in data.columns or actual_col not in data.columns: 385 print(f"Skipping {col}: Columns not found in data ({predicted_col}, {actual_col})") 386 continue AttributeError: 'NoneType' object has no attribute 'columns' supabase api 키 입력해서 경제지표랑 주가를 supase에 자동으로 저장하는것까지 됐는데. ai 예측모델 하니까 저런식으로 나오네요..

  • python
  • 딥러닝
  • 빅데이터
  • FastAPI
  • 데이터-엔지니어링
jkl 댓글 1 좋아요 0 조회수 106

object 컬럼이 여러 개인 경우 인코딩 전처리 방법

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요. 작업형 2 범주형 변수 인코딩 관련해서 질문드립니다. train/test의 범주가 동일한지 확인할 때 보통 아래처럼 비교하는 것으로 알고 있습니다. a = set(X_train['컬럼명'].unique()) b = set(X_test['컬럼명'].unique()) print(a-b) 그런데 object형 컬럼이 여러 개인 경우에 컬럼을 합칠지 또는 합치지 않을지, 그리고 어떤 인코딩을 할지 결정하기위해 모든 컬럼명을 위 코드에 다 대입하여 비교해야하나요 ? 물론 반복문을 이용하는 방법도 있겠지만, info()에서 확인했을때 object 형태의 컬럼이 여러개인 경우 그냥 바로 데이터를 합치는 것이 좋은지 궁금합니다.

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
13 로제 댓글 2 좋아요 1 조회수 74

데이터 전처리 순서 관련

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요. 강의 잘 듣고있습니다 ! 작업형 2 전처리 순서 관련해서 질문드립니다. 타겟 데이터 분리, 검증 데이터 분리, 인코딩, 스케일링을 모두 해야 할 때 일반적으로 권장되는 순서가 따로 있는지 궁금합니다. 강의에서는 타겟 분리 → 인코딩 → 검증 데이터 분리 순서로 진행한 경우가 있었는데, 반대로 타겟 분리 → 검증 데이터 분리 → 인코딩 순서로 진행해도 되는지 궁금합니다. 또한 스케일링은 어느 단계에서 진행하는 것이 적절한지도 궁금합니다. 제가 이해하기로는 pd.get_dummies() 는 검증 데이터 분리 전에 적용해도 되는 경우가 있는 반면, StandardScaler 는 데이터 누수 방지를 위해 검증 데이터를 먼저 분리한 뒤 학습 데이터에만 fit 하고, 검증 데이터에는 transform 만 적용하는 것으로 알고 있습니다. 혹시 단계별로 순서를 바꿔도 되는 경우 반드시 지켜야 하는 순서 실기 시험에서 가장 안전하게 사용할 수 있는 전처리 순서 를 함께 설명해주시면 감사하겠습니다.

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
13 로제 댓글 2 좋아요 0 조회수 97

작업형2 모의문제 데이터 불러오기

미해결

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

자료 다운 받아서 압축 풀고 데이터 불러오기를 해도 왼쪽 파일에 자료가 안 뜨는데 어떻게 해야 하나요...?

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
김은진 댓글 2 좋아요 0 조회수 93

인기 태그

인프런 TOP Writers

주간 인기글