174만명의 커뮤니티!! 함께 토론해봐요.
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
빅분기 실기 13회를 공부중인데, 10.12일까지 만료일자라서 13회까지 기간 연장 문의드립니다. 메일주소는 leewoongjae8@naver.com 입니다.
미해결
베개 투자법: 자면서 돈 버는 AI 주식 자동 매매 머신
저장은 되게 되었습니다. 근데 이게 ai가 db에 그냥 아무 데이터나 넣게 학습 시키게끔 바꾼건지 잘 모르겠습니다. # 예전: 종목 목록을 만든 뒤 바로 스케일링했다. # 지금: 숫자가 하나도 없는 칸은 학습에서 뺀다. def columns_with_numbers(frame, columns): kept = [] dropped = [] for col in columns: numeric = pd.to _numeric(frame[col], errors='coerce') if col in frame.columns else pd.Series(dtype=float) if numeric.notna().any() and np.isfinite( numeric.to _numpy(dtype=float, na_value=np.nan)).any(): kept.append(col) else: dropped.append(col) return kept, dropped target_columns, dropped_targets = columns_with_numbers(data, target_columns) economic_features, dropped_econ = columns_with_numbers(data, economic_features) dropped_columns = dropped_targets + dropped_econ if dropped_columns: print(f"값이 없어 학습에서 뺀 칸: {dropped_columns}") if not target_columns or not economic_features: raise RuntimeError("학습에 쓸 숫자 칸이 없습니다.") # 예전: 빈 칸을 그대로 스케일러에 넣었다. # 지금: 남은 빈 칸은 앞뒤 날짜 값으로 채운 다음 스케일링한다. feature_columns = list(dict.fromkeys(target_columns + economic_features)) data[feature_columns] = data[feature_columns].apply( pd.to _numeric, errors='coerce').ffill().bfill() print("Scaling data...") train_size = int(len(data) * 0.8) train_data = data.iloc[:train_size] test_data = data.iloc[train_size:] data_scaled = data.copy() stock_scaler = MinMaxScaler() econ_scaler = MinMaxScaler() data_scaled[target_columns] = stock_ scaler.fit _transform(data[target_columns]) data_scaled[economic_features] = econ_ scaler.fit _transform(data[economic_features]) model = build_transformer_with_two_inputs(stock_shape, econ_shape, num_heads=8, ff_dim=256, target_size=len(target_columns)) # 예전: Adam(learning_rate=0.0001) # 지금: clipnorm=1.0 을 넣어 학습 중 숫자가 한없이 커지지 않게 했다. model.compile(optimizer=Adam(learning_rate=0.0001, clipnorm=1.0), loss='mse', metrics=['mae']) predicted_prices = model.predict([X_stock_full, X_econ_full], verbose=1) predicted_prices_actual = stock_scaler.inverse_transform(predicted_prices) # 예전: 예측하자마자 표로 만들고 저장했다. # 지금: 빈 칸 개수를 세고, 가격으로 되돌린 값이 전부 비어 있으면 저장하지 않고 멈춘다. raw_empty = int((~np.isfinite(predicted_prices)).sum()) inv_empty = int((~np.isfinite(predicted_prices_actual)).sum()) last_loss = history.history['loss'][-1] print(f"모델 출력 빈 값: {raw_empty} / {predicted_prices.size}") print(f"가격으로 되돌린 빈 값: {inv_empty} / {predicted_prices_actual.size}") print(f"마지막 학습 손실: {last_loss}") if inv_empty == predicted_prices_actual.size: raise RuntimeError( "모델 예측이 전부 비어 있습니다. " f"모델 출력 빈 값 {raw_empty}/{predicted_prices.size}, " f"가격 변환 빈 값 {inv_empty}/{predicted_prices_actual.size}, " f"마지막 학습 손실 {last_loss}. 데이터베이스는 수정하지 않았습니다." ) def save_predictions_to_db(result_df): try: # 예전: records = result_ df.to _dict('records') # 지금: 숫자는 그대로 두고, 비어 있는 칸만 null 로 바꾼다. records = json.loads(result_ df.to _json(orient='records')) if not records: raise ValueError("저장할 예측 결과가 없습니다.") # 예전: 넣을 내용을 확인하기 전에 기존 행을 지웠다. # 지금: 넣을 내용이 생긴 뒤에만 기존 행을 지운다. supabase.table("predicted_stocks").delete().neq("id", 0).execute() chunk_size = 100 for i in range(0, len(records), chunk_size): chunk = records[i:i+chunk_size] response = supabase.table("predicted_stocks").insert(chunk).execute() # 예전: 저장 응답이 비어 있어도 넘어갔다. # 지금: 응답이 비어 있으면 실패로 처리한다. if not response.data : raise RuntimeError(f"예측 결과 저장 응답이 비어 있습니다. offset={i}") print(f"{len(records)}개의 예측 결과가 데이터베이스에 저장되었습니다.") # 예전: 성공인지 실패인지 돌려주지 않았다. # 지금: 성공이면 True 와 빈 이유를 돌려준다. return True, None except Exception as e: print(f"데이터베이스 저장 오류: {e}") # 지금: 실패하면 False 와 실패 이유를 돌려준다. return False, str(e) # 예전: save_predictions_to_db(result_data) # print("모든 예측 결과가 DB에 저장되었습니다.") # 지금: 저장이 실패하면 성공이라고 말하지 않고, 이유를 보여 준 뒤 멈춘다. predictions_saved, save_error = save_predictions_to_db(result_data) if not predictions_saved: raise RuntimeError(f"예측 결과를 데이터베이스에 저장하지 못했습니다. 원인: {save_error}") print("모든 예측 결과가 DB에 저장되었습니다.") def get_predictions_from_db(chunk_size=1000): try: count_response = supabase.table("predicted_stocks").select("id", count="exact").execute() # 예전: total_count = count_response.count # 지금: 개수가 없으면 0으로 본다. total_count = count_response.count or 0 print(f"predicted_stocks 테이블의 총 레코드 수: {total_count}") # 예전: 행이 0개여도 날짜 칸을 읽다가 오류가 났다. # 지금: 행이 0개면 날짜를 읽지 않고 None 을 돌려준다. if total_count == 0: print("predicted_stocks 테이블에 데이터가 없습니다.") return None all_data = [] for offset in range(0, total_count, chunk_size): response = ( supabase.table("predicted_stocks") .select("*") .order("날짜", desc=False) .limit(chunk_size) .offset(offset) .execute() ) # 예전: chunk_data = response.data # 지금: 응답이 비어 있으면 빈 목록으로 본다. chunk_data = response.data or [] all_data.extend(chunk_data) df = pd.DataFrame(all_data) # 예전: 날짜 칸이 없어도 df['날짜'] 를 읽었다. # 지금: 표가 비었거나 날짜 칸이 없으면 None 을 돌려준다. if df.empty or '날짜' not in df.columns: print("가져온 데이터에 '날짜' 컬럼이 없습니다.") return None df['날짜'] = pd.to _datetime(df['날짜']) return df except Exception as e: print(f"데이터 가져오기 오류: {e}") return None # 예전: # data = get_predictions_from_db(chunk_size=1000) # if data is None or len(data) == 0: # print("데이터를 가져오는데 실패했습니다.") # exit(1) # target_columns = ['애플', '마이크로소프트', ...] # 지금: 데이터베이스를 다시 읽지 않고, 방금 만든 예측표를 그대로 평가한다. # 종목 목록도 다시 적지 않고, 위에서 걸러 둔 target_columns 를 쓴다. data = result_data.copy() data['날짜'] = pd.to _datetime(data['날짜']) forecast_horizon = 14 evaluation_results = evaluate_predictions(data, target_columns, forecast_horizon) rise_results = analyze_rise_predictions(data, target_columns) # 예전: 비교할 예측이 없어도 바로 두 표를 합쳤다. # 지금: 평가 결과가 비어 있으면 합치지 않고 멈춘다. if evaluation_results.empty or 'Stock' not in evaluation_results.columns: raise RuntimeError("평가할 예측값이 없습니다. 실제 가격과 예측값을 합치지 않습니다.") final_results = pd.merge(evaluation_results, rise_results, on='Stock', how='outer') 이런식으로 바꾸었어요 AI가
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
혹시 오징어게임을 구매했는데 강의는 샀는데 시나공책도 필수인가요??
미해결
베개 투자법: 자면서 돈 버는 AI 주식 자동 매매 머신
모든 예측 결과가 DB에 저장되었습니다. predicted_stocks 테이블의 총 레코드 수: 0 총 0개 데이터를 성공적으로 가져왔습니다! 데이터 가져오기 오류: '날짜' 데이터를 가져오는데 실패했습니다. --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) /tmp/ipykernel_921/1990775403.py in <cell line: 0>() 520 521 # 3) Evaluate predictions --> 522 evaluation_results = evaluate_predictions(data, target_columns, forecast_horizon) 523 print("============ Evaluation Results ============") 524 print(evaluation_results) /tmp/ipykernel_921/1990775403.py in evaluate_predictions(data, target_columns, forecast_horizon) 382 383 # Check if the columns exist --> 384 if predicted_col not in data.columns or actual_col not in data.columns: 385 print(f"Skipping {col}: Columns not found in data ({predicted_col}, {actual_col})") 386 continue AttributeError: 'NoneType' object has no attribute 'columns' supabase api 키 입력해서 경제지표랑 주가를 supase에 자동으로 저장하는것까지 됐는데. ai 예측모델 하니까 저런식으로 나오네요..
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요. 작업형 2 범주형 변수 인코딩 관련해서 질문드립니다. train/test의 범주가 동일한지 확인할 때 보통 아래처럼 비교하는 것으로 알고 있습니다. a = set(X_train['컬럼명'].unique()) b = set(X_test['컬럼명'].unique()) print(a-b) 그런데 object형 컬럼이 여러 개인 경우에 컬럼을 합칠지 또는 합치지 않을지, 그리고 어떤 인코딩을 할지 결정하기위해 모든 컬럼명을 위 코드에 다 대입하여 비교해야하나요 ? 물론 반복문을 이용하는 방법도 있겠지만, info()에서 확인했을때 object 형태의 컬럼이 여러개인 경우 그냥 바로 데이터를 합치는 것이 좋은지 궁금합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요. 강의 잘 듣고있습니다 ! 작업형 2 전처리 순서 관련해서 질문드립니다. 타겟 데이터 분리, 검증 데이터 분리, 인코딩, 스케일링을 모두 해야 할 때 일반적으로 권장되는 순서가 따로 있는지 궁금합니다. 강의에서는 타겟 분리 → 인코딩 → 검증 데이터 분리 순서로 진행한 경우가 있었는데, 반대로 타겟 분리 → 검증 데이터 분리 → 인코딩 순서로 진행해도 되는지 궁금합니다. 또한 스케일링은 어느 단계에서 진행하는 것이 적절한지도 궁금합니다. 제가 이해하기로는 pd.get_dummies() 는 검증 데이터 분리 전에 적용해도 되는 경우가 있는 반면, StandardScaler 는 데이터 누수 방지를 위해 검증 데이터를 먼저 분리한 뒤 학습 데이터에만 fit 하고, 검증 데이터에는 transform 만 적용하는 것으로 알고 있습니다. 혹시 단계별로 순서를 바꿔도 되는 경우 반드시 지켜야 하는 순서 실기 시험에서 가장 안전하게 사용할 수 있는 전처리 순서 를 함께 설명해주시면 감사하겠습니다.
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
자료 다운 받아서 압축 풀고 데이터 불러오기를 해도 왼쪽 파일에 자료가 안 뜨는데 어떻게 해야 하나요...?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요... 이번년도 마지막 실기시험을 합격하지 못하면 필기를 다시 따야하는 수험생입니다... 염치 불구하고 빅데이터분석기사 실기강의를 시험때까지만 연장 요청드립니다. (메일로 문의 드렸는데 아직 보시지 않아서 글도 남깁니다 !) 제 메일은 : sjk0329@naver.com 입니다 !
미해결
모두의 한국어 텍스트 분석과 자연어처리 with 파이썬
소리가 들리지 않아요.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요! 아래 코드처럼 views컬럼의 상위 10개 값을 수정하는 코드에서 정답은 정상적으로 출력되는데, SettingWithCopyWarning과 FutureWarning이 발생합니다. 코드) # 'views'컬럼 상위 10개 데이터를 ref로 대체 df['views'].iloc[:10] = ref 경고 내용) /tmp/ipykernel_1503/1370443628.py:14: FutureWarning: ChainedAssignmentError: behaviour will change in pandas 3.0! You are setting values through chained assignment. Currently this works in certain cases, but when using Copy-on-Write (which will become the default behaviour in pandas 3.0) this will never work to update the original DataFrame or Series, because the intermediate object on which we are setting values will behave as a copy. A typical example is when you are setting values in a column of a DataFrame, like: df["col"][row_indexer] = value Use `df.loc[row_indexer, "col"] = values` instead, to perform the assignment in a single step and ensure this keeps updating the original `df`. See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy df['views'].iloc[:10] = ref /tmp/ipykernel_1503/1370443628.py:14: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy df['views'].iloc[:10] = ref 현재는 정상적으로 값이 변경되고 정답도 일치하는 상황입니다. 이와 관련하여 두 가지 질문이 있습니다. 현재 코드에서 경고가 발생하는 정확한 이유와 권장되는 수정 방법이 궁금합니다. 빅데이터분석기사 실기 시험환경에서 해당 코드가 정상적으로 실행되는지 궁금합니다. 참고) 제가 작성한 전체 코드입니다. # your code import pandas as pd df = pd.read_csv("https://raw.githubusercontent.com/lovedlim/inf/refs/heads/main/p1/members.csv") # 'views'컬럼 기준으로 내림차순 정렬 df = df.sort_values('views', ascending=False) # 'views'컬럼 상위 10번째 값 ref = df['views'].iloc[9] # 'views'컬럼 상위 10개 데이터를 ref로 대체 df['views'].iloc[:10] = ref # 'age'컬럼에서 80 이상인데이터만 추출 cond = df['age'] >= 80 df = df[cond] # 그 데이터의 'views'컬럼 평균값 산정 print(df['views'].mean()) 감사합니다 !
해결됨
베개 투자법: 자면서 돈 버는 AI 주식 자동 매매 머신
강의를 수강하시다가 막히는 부분이 있는 경우는 "자주 묻는 질문"을 먼저 참고 부탁드립니다. 막히는 부분에 대해서 질문을 주실 때에는 꼭 강의 제목과 타임라인도 같이 작성 부탁드립니다. 베개 투자법: 자면서 돈 버는 AI 주식 자동 매매 머신 python fastapi 부분을 듣고 있습니다. 화면 아래를 보면, 기본 강의 자료와 강의 자료 2개가 항상 올라와있는데, 이 두 개는 같은 것이 강의 내내 올라오는 것인지가 궁금하고, 이 두 개를 어떻게 나눠서 사용해야 할 지 궁금합니다. 그리고, 각 해당 항목에 들어가면 예제 코드가 있나요? 나중에는 하나로 묶인 코드도 제공되는거지요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요, 판다스1 20:47과정에서 문의가 있습니다 위쪽이 강의과정이고, 아래가 제 학습창입니다. 데이터프레임이 업데이트 되어서 그런걸까요? 저는 1열만 출력이 됩니다
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 13회차 실기 준비중인 수강생입니다. 다름이 아니라 현재 수강중인 강의가 10월 28일 만료가 되는 것으로 확인했습니다. 그러나 13회차 실기가 11월 28일에 예정이 되어있어 선생님의 강의를 시험일자까지 연장하여 수강하고 싶습니다. 가능하다면 수강기간 연장을 통해 실기에 합격하고 싶습니다. 연장이 가능하다면 답변해주시면 감사드리겠습니다. 아래에 메일 주소도 남깁니다. 감사합니다. seohj0528@naver.com
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
레이블 인코딩이 어려워서 nunique 사용해서 갯수 많은 컬럼만 삭제하고 일괄적으로 원핫 인코딩으로 통일하고 싶은데, 혹시 원핫 인코딩 안되는경우가 있다면 되게끔 만드는 기준이나 방법 알려주실 수 있을까요?
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요. 올해 빅분기 실기12회 시험을 55점으로 탈락을했습니다. 현 수강중인 빅분기 실기강의가 10월8일 만기가 되는데 수강연장이 가능할까요? 말씀주시면 감사드리겠습니다. sukjunkong@gmail.com 제 이메일 주소입니다. 감사합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
12회차 필기를 떨어져서 실기 준비를 하지 못했습니다.. 13회차 필기를 열심히 공부하여서 이번에 필기를 합격 했고 실기준비를 하려고 현재 영상을 하나씩 보고 있는데 10월 2일에 만료된다는 것을 방금 확인했습니다... 13회차 실기가 11월 28일에 시험을 보는데 이번회차때 선생님의 강의로 꼭 합격을 하고 싶습니다. 가능하다면 수강기간을 연장하여 열심히 공부해서 꼭 실기에 합격하고 수강평도 작성하고 싶습니다... 부탁드립니다 ㅠㅠㅠㅠ 이메일 : norainfall@naver.com
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요, 인강 열심히 들으며 13회 빅분기 실기를 준비중입니다. 제가 비전공자이어서 개념이 잘 안잡혀있는 편인데요, 작업형2와 3은 어떤 목적 차이가 있는 걸까요? 가령 작업형2도 회귀를 쓰고 작업형 3도 회귀를 쓰는데 모델은 다른것 같구요 어떤 상황과 목적에서 작업형 2, 3이 구분되는걸까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
검거율이 가장 높은 범죄유형은 '강력범죄'아닌가요..(풀이영상엔 특별경제범죄로나옴) 그래서 강력범죄의 검거건수를 모두합하면 4,750이아닌가요..
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 강사님, 저는 직장생활과 수험생활을 병행하는 50대 직장인 입니다. 지난 6월 2차 시험에서 그 논란 많았던 2유형 음수 처리 관련해서, 무지성 랜포보다는 배운 대로 여러 모델을 돌려 가장 점수가 좋은 모델을 선택해 제출했다가 0점 처리 되어 탈락했습니다. 점수가 55점 이었으니, 부분 점수를 조금이라도 받았다면 합격했었을 겁니다. 한 번에 합격하고자 참 열심히 준비했었는데... 출제 측의 무지성적인 처리 방식이 많이 아쉬웠습니다. 그런 연유로, 이번 11월 2차 시험을 다시 치러야 하는 입장입니다. 허나 현재 수강기간이 11월 19일로 종료되는 상황이어서 문의를 드리고자 합니다. 실기시험일인 11월 28일(토) 까지만이라도 수강기간 연장이 가능할지요? 긍정적인 고려를 부탁 드리겠습니다. 메일주소는 iurban@naver.com 입니다. 감사합니다.
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 선생님 선생님이 강의할때는 아하 이런거구나 하면서 이해했는데 시험장에서 아예 얼어버려서 5점을 맞았습니다. 필기도 3번만에 겨우 합겨했는데, 이번 실기가 필기 유효 기간 만료네요. 9.23자로 만료 확인되는데 비전공자에 직장과 병행하다보니 강의가 만료된다면 남은기간 어떻게 마음의 준비를 하고 나머지 공부를 할지 착잡합니다. 이번에 어떻게든 졸업하고 싶은데 수강 기간을 이번 실기일자까지만이라도 연장 가능할지 도움 주실 수 있는지 문의드립니다. 이메일 주소는 dmswl1290@daum.net 입니다. 검토해주시면 감사하겠습니다.
