여기선 그냥 원핫인코딩을 하셨는데, 다른 설명에선 concat으로 train 데이터와 test 데이터를 병합하고 인코딩을 해야 열 수가 같다고 하셨는데, 여기선 그냥 하셨네요 train.info(), test.info() 등으로 칼럼 이름이 같은지 확인되면 지금처럼 바로 인코딩 하면 될까요?
안녕하세요~ 13회차 실기 준비중인 수강생인데, 현재 수강중인 강의가 10월 31일 만료입니다. 그러나 13회차 실기가 11월 28일으로 시험일자까지 수강 연장이 필요합니다. ㅠㅠ 오징어게임도 수강신청했습니다. 오징어게임과 더불어 본 강의를 수강 반복해서 꼭 합격하고 싶습니다. 이번이 마지막 실기 기회여서 절박합니다. 시험일자까지 연장 가능하다면 수강기간 연장을 통해 마지막 실기에 합격하고 싶습니다. 답변부탁드립니다. yunina0314@gmail.com 감사합니다.
로컬에서 Docker 이미지( mcr.microsoft.com/mmlspark/release:latest )로 PySpark 환경을 구성해 강의를 듣고 있습니다. 강의에서는 Spark가 업데이트되면서 pandas DataFrame의 np.nan이 Spark DataFrame으로 변환될 때 null로 바뀐다고 설명되어 있었습니다. 그런데 제 환경에서는 여전히 NaN으로 남아 있었습니다. 확인해보니 이 이미지의 latest 태그는 Spark 최신 버전이 아니라 SynapseML 최신 버전 기준이었고, 실제 설치된 버전은 Spark 3.5.4였습니다. 이 버전에서는 Arrow 최적화가 기본적으로 꺼져 있어서 NaN이 그대로 유지되는 것으로 보입니다. 아래처럼 Spark 세션을 만들 때 Arrow 옵션을 켜 주니 NaN이 null로 변환되는 것을 확인했습니다. spark = ( SparkSession.builder .config("spark.sql.execution.arrow.pyspark.enabled", "true") .appName("SparkML") .enableHiveSupport() .getOrCreate() ) Spark를 잘 아는 편이 아니라서 이 방법이 근본적인 해결책인지는 확실하지 않습니다. 더 좋은 방법을 알고 계신다면 공유해 주시면 감사드리겠습니다.
12회에 작업형2 데이터에 음수값이있었잔아요. 29강과같이 train데이터의 특정 컬럼이 양수인데이터만 다시 train에 저장하는방법으로 했다면 랜포나,부스터계열 어떤걸사용했더라도 점수 받을 수 있었을까요? 아니면, 12회 작업형2문제의 경우 여러컬럼에 음수값이 많이 분포되어 있어서, 모두 삭제하기보단 12회풀이해주신대로 clip사용해서 음수값은모두0으로 처리한게 적절할까요.. 두처리방법 중 어떤방법이 더 점수가 잘나오는건지요..
https://colab.research.google.com/drive/1vJz33RoI79OaulL4tJlIkHp3X66tjjKE 제가 풀이한 코드입니다. 작업형2 모의문제2를 풀 때마다 어떤 모델을 써도 계속 price 예측값에 마이너스가 포함되어 결과값 검증이 불가해집니다. 강의와 함께 여러번 훑어봐도 어떤 부분에 오류가 있는지 찾기 어려워 질문드립니다. 감사합니다.
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 random_state 값을 0으로 하는데도 계속 RMSE값이 고정되지 않고 계속 바뀌는데 정상적인걸까요..
안녕하세요. 빅데이터분석기사 13회차 시험을 준비하고 있는데, 현재 강의 수강 기간이 11월 8일까지라 혹시 강의 연장이 가능할지 조심스럽게 여쭙습니다. 번거로우시겠지만 연장해 주신다면 정말 감사하겠습니다. 검토 부탁드립니다. 감사합니다! 제 메일입니다 dlgnqud7@gmail.com
저장은 되게 되었습니다. 근데 이게 ai가 db에 그냥 아무 데이터나 넣게 학습 시키게끔 바꾼건지 잘 모르겠습니다. # 예전: 종목 목록을 만든 뒤 바로 스케일링했다. # 지금: 숫자가 하나도 없는 칸은 학습에서 뺀다. def columns_with_numbers(frame, columns): kept = [] dropped = [] for col in columns: numeric = pd.to _numeric(frame[col], errors='coerce') if col in frame.columns else pd.Series(dtype=float) if numeric.notna().any() and np.isfinite( numeric.to _numpy(dtype=float, na_value=np.nan)).any(): kept.append(col) else: dropped.append(col) return kept, dropped target_columns, dropped_targets = columns_with_numbers(data, target_columns) economic_features, dropped_econ = columns_with_numbers(data, economic_features) dropped_columns = dropped_targets + dropped_econ if dropped_columns: print(f"값이 없어 학습에서 뺀 칸: {dropped_columns}") if not target_columns or not economic_features: raise RuntimeError("학습에 쓸 숫자 칸이 없습니다.") # 예전: 빈 칸을 그대로 스케일러에 넣었다. # 지금: 남은 빈 칸은 앞뒤 날짜 값으로 채운 다음 스케일링한다. feature_columns = list(dict.fromkeys(target_columns + economic_features)) data[feature_columns] = data[feature_columns].apply( pd.to _numeric, errors='coerce').ffill().bfill() print("Scaling data...") train_size = int(len(data) * 0.8) train_data = data.iloc[:train_size] test_data = data.iloc[train_size:] data_scaled = data.copy() stock_scaler = MinMaxScaler() econ_scaler = MinMaxScaler() data_scaled[target_columns] = stock_ scaler.fit _transform(data[target_columns]) data_scaled[economic_features] = econ_ scaler.fit _transform(data[economic_features]) model = build_transformer_with_two_inputs(stock_shape, econ_shape, num_heads=8, ff_dim=256, target_size=len(target_columns)) # 예전: Adam(learning_rate=0.0001) # 지금: clipnorm=1.0 을 넣어 학습 중 숫자가 한없이 커지지 않게 했다. model.compile(optimizer=Adam(learning_rate=0.0001, clipnorm=1.0), loss='mse', metrics=['mae']) predicted_prices = model.predict([X_stock_full, X_econ_full], verbose=1) predicted_prices_actual = stock_scaler.inverse_transform(predicted_prices) # 예전: 예측하자마자 표로 만들고 저장했다. # 지금: 빈 칸 개수를 세고, 가격으로 되돌린 값이 전부 비어 있으면 저장하지 않고 멈춘다. raw_empty = int((~np.isfinite(predicted_prices)).sum()) inv_empty = int((~np.isfinite(predicted_prices_actual)).sum()) last_loss = history.history['loss'][-1] print(f"모델 출력 빈 값: {raw_empty} / {predicted_prices.size}") print(f"가격으로 되돌린 빈 값: {inv_empty} / {predicted_prices_actual.size}") print(f"마지막 학습 손실: {last_loss}") if inv_empty == predicted_prices_actual.size: raise RuntimeError( "모델 예측이 전부 비어 있습니다. " f"모델 출력 빈 값 {raw_empty}/{predicted_prices.size}, " f"가격 변환 빈 값 {inv_empty}/{predicted_prices_actual.size}, " f"마지막 학습 손실 {last_loss}. 데이터베이스는 수정하지 않았습니다." ) def save_predictions_to_db(result_df): try: # 예전: records = result_ df.to _dict('records') # 지금: 숫자는 그대로 두고, 비어 있는 칸만 null 로 바꾼다. records = json.loads(result_ df.to _json(orient='records')) if not records: raise ValueError("저장할 예측 결과가 없습니다.") # 예전: 넣을 내용을 확인하기 전에 기존 행을 지웠다. # 지금: 넣을 내용이 생긴 뒤에만 기존 행을 지운다. supabase.table("predicted_stocks").delete().neq("id", 0).execute() chunk_size = 100 for i in range(0, len(records), chunk_size): chunk = records[i:i+chunk_size] response = supabase.table("predicted_stocks").insert(chunk).execute() # 예전: 저장 응답이 비어 있어도 넘어갔다. # 지금: 응답이 비어 있으면 실패로 처리한다. if not response.data : raise RuntimeError(f"예측 결과 저장 응답이 비어 있습니다. offset={i}") print(f"{len(records)}개의 예측 결과가 데이터베이스에 저장되었습니다.") # 예전: 성공인지 실패인지 돌려주지 않았다. # 지금: 성공이면 True 와 빈 이유를 돌려준다. return True, None except Exception as e: print(f"데이터베이스 저장 오류: {e}") # 지금: 실패하면 False 와 실패 이유를 돌려준다. return False, str(e) # 예전: save_predictions_to_db(result_data) # print("모든 예측 결과가 DB에 저장되었습니다.") # 지금: 저장이 실패하면 성공이라고 말하지 않고, 이유를 보여 준 뒤 멈춘다. predictions_saved, save_error = save_predictions_to_db(result_data) if not predictions_saved: raise RuntimeError(f"예측 결과를 데이터베이스에 저장하지 못했습니다. 원인: {save_error}") print("모든 예측 결과가 DB에 저장되었습니다.") def get_predictions_from_db(chunk_size=1000): try: count_response = supabase.table("predicted_stocks").select("id", count="exact").execute() # 예전: total_count = count_response.count # 지금: 개수가 없으면 0으로 본다. total_count = count_response.count or 0 print(f"predicted_stocks 테이블의 총 레코드 수: {total_count}") # 예전: 행이 0개여도 날짜 칸을 읽다가 오류가 났다. # 지금: 행이 0개면 날짜를 읽지 않고 None 을 돌려준다. if total_count == 0: print("predicted_stocks 테이블에 데이터가 없습니다.") return None all_data = [] for offset in range(0, total_count, chunk_size): response = ( supabase.table("predicted_stocks") .select("*") .order("날짜", desc=False) .limit(chunk_size) .offset(offset) .execute() ) # 예전: chunk_data = response.data # 지금: 응답이 비어 있으면 빈 목록으로 본다. chunk_data = response.data or [] all_data.extend(chunk_data) df = pd.DataFrame(all_data) # 예전: 날짜 칸이 없어도 df['날짜'] 를 읽었다. # 지금: 표가 비었거나 날짜 칸이 없으면 None 을 돌려준다. if df.empty or '날짜' not in df.columns: print("가져온 데이터에 '날짜' 컬럼이 없습니다.") return None df['날짜'] = pd.to _datetime(df['날짜']) return df except Exception as e: print(f"데이터 가져오기 오류: {e}") return None # 예전: # data = get_predictions_from_db(chunk_size=1000) # if data is None or len(data) == 0: # print("데이터를 가져오는데 실패했습니다.") # exit(1) # target_columns = ['애플', '마이크로소프트', ...] # 지금: 데이터베이스를 다시 읽지 않고, 방금 만든 예측표를 그대로 평가한다. # 종목 목록도 다시 적지 않고, 위에서 걸러 둔 target_columns 를 쓴다. data = result_data.copy() data['날짜'] = pd.to _datetime(data['날짜']) forecast_horizon = 14 evaluation_results = evaluate_predictions(data, target_columns, forecast_horizon) rise_results = analyze_rise_predictions(data, target_columns) # 예전: 비교할 예측이 없어도 바로 두 표를 합쳤다. # 지금: 평가 결과가 비어 있으면 합치지 않고 멈춘다. if evaluation_results.empty or 'Stock' not in evaluation_results.columns: raise RuntimeError("평가할 예측값이 없습니다. 실제 가격과 예측값을 합치지 않습니다.") final_results = pd.merge(evaluation_results, rise_results, on='Stock', how='outer') 이런식으로 바꾸었어요 AI가
모든 예측 결과가 DB에 저장되었습니다. predicted_stocks 테이블의 총 레코드 수: 0 총 0개 데이터를 성공적으로 가져왔습니다! 데이터 가져오기 오류: '날짜' 데이터를 가져오는데 실패했습니다. --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) /tmp/ipykernel_921/1990775403.py in <cell line: 0>() 520 521 # 3) Evaluate predictions --> 522 evaluation_results = evaluate_predictions(data, target_columns, forecast_horizon) 523 print("============ Evaluation Results ============") 524 print(evaluation_results) /tmp/ipykernel_921/1990775403.py in evaluate_predictions(data, target_columns, forecast_horizon) 382 383 # Check if the columns exist --> 384 if predicted_col not in data.columns or actual_col not in data.columns: 385 print(f"Skipping {col}: Columns not found in data ({predicted_col}, {actual_col})") 386 continue AttributeError: 'NoneType' object has no attribute 'columns' supabase api 키 입력해서 경제지표랑 주가를 supase에 자동으로 저장하는것까지 됐는데. ai 예측모델 하니까 저런식으로 나오네요..
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요. 작업형 2 범주형 변수 인코딩 관련해서 질문드립니다. train/test의 범주가 동일한지 확인할 때 보통 아래처럼 비교하는 것으로 알고 있습니다. a = set(X_train['컬럼명'].unique()) b = set(X_test['컬럼명'].unique()) print(a-b) 그런데 object형 컬럼이 여러 개인 경우에 컬럼을 합칠지 또는 합치지 않을지, 그리고 어떤 인코딩을 할지 결정하기위해 모든 컬럼명을 위 코드에 다 대입하여 비교해야하나요 ? 물론 반복문을 이용하는 방법도 있겠지만, info()에서 확인했을때 object 형태의 컬럼이 여러개인 경우 그냥 바로 데이터를 합치는 것이 좋은지 궁금합니다.
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요. 강의 잘 듣고있습니다 ! 작업형 2 전처리 순서 관련해서 질문드립니다. 타겟 데이터 분리, 검증 데이터 분리, 인코딩, 스케일링을 모두 해야 할 때 일반적으로 권장되는 순서가 따로 있는지 궁금합니다. 강의에서는 타겟 분리 → 인코딩 → 검증 데이터 분리 순서로 진행한 경우가 있었는데, 반대로 타겟 분리 → 검증 데이터 분리 → 인코딩 순서로 진행해도 되는지 궁금합니다. 또한 스케일링은 어느 단계에서 진행하는 것이 적절한지도 궁금합니다. 제가 이해하기로는 pd.get_dummies() 는 검증 데이터 분리 전에 적용해도 되는 경우가 있는 반면, StandardScaler 는 데이터 누수 방지를 위해 검증 데이터를 먼저 분리한 뒤 학습 데이터에만 fit 하고, 검증 데이터에는 transform 만 적용하는 것으로 알고 있습니다. 혹시 단계별로 순서를 바꿔도 되는 경우 반드시 지켜야 하는 순서 실기 시험에서 가장 안전하게 사용할 수 있는 전처리 순서 를 함께 설명해주시면 감사하겠습니다.