172만명의 커뮤니티!! 함께 토론해봐요.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 선생님, 저는 이직 준비를 위해 빅데이터 분석기사 자격증을 준비중인 회사원입니다. 2025년 2회차 실기시험을 목표로 인프런에서 유명한 선생님의 강의를 신청했지만, 2025년도 하반기 중국 출장(2달)을 가게 되어 2회차 시험에 응시하지 못했습니다.. 수강기간이 2026.04.28까지인데, 2026년 1회차 시험을 목표로 강의를 수강하려고 합니다! 혹시 2026년 1회차 시험인 2026.06.20까지 강의 연장이 가능할까요? 가능하다면 정말 열심히 수강하여 꼭 합격하고 싶습니다! 답변 기다리겠습니다. 읽어주셔서 감사합니다! 제 이메일은 ( ysy0950@gmail.com ) 입니다!
python 머신러닝 빅데이터 pandas 빅데이터분석기사
다람쥐
2026-01-03T06:13:12.328Z
댓글 2
좋아요 0
조회수 113
미해결
실무에서 바로 쓰는 SQL [SQL200제 저자 직강]
안녕하세요 혹시 오라클18c로 진행하더라도 문제 없을까요?
c신승호
2025-12-31T16:48:58.081Z
댓글 1
좋아요 0
조회수 101
미해결
실무에서 바로 쓰는 SQL [SQL200제 저자 직강]
안녕하세요, 1. 책만 있어도되는건지, 2. 강의만 들어도되는건지, 3. 책이랑 강의를 둘다 보는게 맞는건지 궁금합니다!
모짜르트
2025-12-27T03:25:12.624Z
댓글 1
좋아요 0
조회수 69
미해결
빅데이터분석기사 필기 올인원: 3주에 끝내는 완벽 대비
인강 결제 했습니다만 강의 내용 최종 업데이트가 25년 8월으로 확인됩니다. 최신 기출 기반 내용이 반영이 안된 것 같은데 지금 강의 구성과 첨부교재만으로 26년 1회차 시험 대비 가능할까요?
김욱선
2025-12-23T04:03:56.876Z
댓글 2
좋아요 0
조회수 110
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
유튜브 유입입니다 :D 인강에서 알려주신대로 직접 따라하면서 공부했더니 합격했어요. 인강 1회쭉 따라서만해도 충분히 합격할 수 있었습니다. 실무와 실전(수험) 노하우를 잘 알려주셔서 좋았습니다.
python 머신러닝 빅데이터 pandas 빅데이터분석기사
beomws
2025-12-20T15:26:38.178Z
댓글 2
좋아요 0
조회수 78
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
강의를 다 듣지 않으면 수강평을 못남길까요? 2유형이 과적합이였는지 예상외로 점수가 꽤 깎였지만 도움많이받고 합격했어요~
python 머신러닝 빅데이터 pandas 빅데이터분석기사
key.nam
2025-12-19T06:33:05.633Z
댓글 2
좋아요 0
조회수 86
해결됨
실리콘밸리 엔지니어와 함께하는 Apache Airflow
안녕하세요 mac에서 apache 설치하려고 하는데, Apache Airflow 설치하기 강의가 learn-apache-airflow-main.zip 파일 기반으로 진행되는 걸까요? 일단 강의환경에 맞춰서 python 3.10 & airflow 2.6.2 로 가상환경 생성해서 하고있는데 강의에서보이는 파일목록이 따로 생성되지 않아서 문의드립니다..
python 빅데이터 데이터-엔지니어링 airflow
얌얌쩝쩝
2025-12-15T11:29:57.270Z
댓글 2
좋아요 0
조회수 118
해결됨
토스 개발자와 함께하는 Data Workflow Management 기반의 대용량 데이터 처리 설계 패턴
dynamicDag from datetime import datetime, timedelta from airflow import DAG from airflow.operators.python import PythonOperator from db_utils import execute_query import logging def log_task_start(message): logging.info(f"[START] {message}") def log_task_end(message): logging.info(f"[END] {message}") # 분석할 주식 종목 리스트 (설정으로 관리) STOCK_SYMBOLS = ['AAPL','GOOGL','MSFT','AMZN','TSLA'] default_args = { 'owner': 'data-team', 'depends_on_past': False, 'start_date': datetime(2024, 1, 1), 'email_on_failure': False, 'email_on_retry': False, 'retries': 1, 'retry_delay': timedelta(minutes=5), } def analyze_stock_data(symbol, **context): """주식 종목에 대해서, 최근 30일간의 주식 데이터를 분석""" log_task_start(f"주식 분석 - {symbol}") query = """ SELECT symbol, AVG(price) as avg_price, MAX(price) as max_price, MIN(price) as min_price, SUM(volume) as total_volume, COUNT(*) as trading_days FROM stock_prices WHERE symbol = %s AND trade_date >= DATE_SUB(CURDATE(), INTERVAL 30 DAY) GROUP BY symbol """ result = execute_query(query, [symbol]) if result: data = result[0] print(f"{symbol} 분석 결과:") print(f" 평균 가격: ${data[1]:.2f}") print(f" 최고 가격: ${data[2]:.2f}") print(f" 최저 가격: ${data[3]:.2f}") print(f" 총 거래량: {data[4]:,}") print(f" 거래일수: {data[5]}일") log_task_end(f"주식 분석 - {symbol}") return result def create_stock_dag(symbol): """개별 주식에 대한 DAG 생성 함수""" dag_id = f'stock_analysis_{symbol.lower()}' dag = DAG( dag_id, default_args=default_args, description=f'{symbol} 주식 데이터 분석 DAG', schedule='@daily', catchup=False, tags=['dynamic', 'stock', 'analysis', symbol] ) # 데이터 품질 체크 태스크 def check_data_quality(**context): query = """ SELECT COUNT(*) as count FROM stock_prices WHERE symbol = %s AND trade_date = CURDATE() - INTERVAL 1 DAY """ result = execute_query(query, [symbol]) logging.info(f"{symbol} 데이터 품질 체크: {result[0][0] if result else 0}") return result data_quality_check = PythonOperator( task_id=f'check_data_quality_{symbol.lower()}', python_callable=check_data_quality, dag=dag ) # 주식 분석 태스크 analyze_task = PythonOperator( task_id=f'analyze_{symbol.lower()}', python_callable=analyze_stock_data, op_kwargs={'symbol': symbol}, dag=dag ) # 결과 저장 태스크 def save_results(**context): query = """ INSERT INTO daily_stats (symbol, summary_date, avg_price, total_volume, trade_count) SELECT %s, CURDATE() - INTERVAL 1 DAY, AVG(price), SUM(volume), COUNT(*) FROM stock_prices WHERE symbol = %s AND trade_date = CURDATE() - INTERVAL 1 DAY ON DUPLICATE KEY UPDATE avg_price = VALUES(avg_price), total_volume = VALUES(total_volume), trade_count = VALUES(trade_count) """ result = execute_query(query, [symbol, symbol]) logging.info(f"{symbol} 분석 결과 저장 완료") return result save_results = PythonOperator( task_id=f'save_analysis_{symbol.lower()}', python_callable=save_results, dag=dag ) # 태스크 의존성 설정 data_quality_check >> analyze_task >> save_results return dag # Dynamic DAG 생성 # 각 주식 종목에 대해 별도의 DAG 생성 for symbol in STOCK_SYMBOLS: dag_id = f'stock_analysis_{symbol.lower()}' globals()[dag_id] = create_stock_dag(symbol) CrossDag (트리거 센서) from datetime import datetime, timedelta from airflow import DAG, Dataset from airflow.operators.python import PythonOperator from airflow.operators.trigger_dagrun import TriggerDagRunOperator from airflow.sensors.external_task import ExternalTaskSensor from db_utils import execute_query import logging #기본 설정 default_args = { 'owner': 'data-team', 'start_date': datetime(2024, 1, 1), 'retries': 1, 'retry_delay': timedelta(minutes=2), } # ======================================================== # TriggerDagRunOperator # ======================================================== def process_data(**context): """간단한 데이터 처리""" logging.info("데이터 처리 시작") query = "SELECT COUNT(*) FROM stock_prices" result = execute_query(query) count = result[0][0] if result else 0 logging.info(f"처리된 레코드 수 : ${count}") return {"record_count": count} trigger_dag = DAG( 'trigger_example_dag', default_args=default_args, description='TriggerDagRunOperator 예제', schedule='@daily', catchup=False, tags=['cross-dag', 'trigger'] ) process_task = PythonOperator( task_id='process_data', python_callable=process_data, dag=trigger_dag ) #다른 DAG를 트리거 (가장 기본적인 사용법) trigger_next_dag = TriggerDagRunOperator( task_id='trigger_sensor_dag', trigger_dag_id='sensor_example_dag', wait_for_completion=False, # 완료를 기다리지 않음 dag=trigger_dag ) process_task >> trigger_next_dag # ======================================================== # ExternalTaskSensor # ======================================================== # 두 번째 DAG: 외부 태스크 대기 def analyze_triggered_data(**context): """트리거된 후 분석 작업""" logging.info("외부 태스크 완료 후 분석 시작") # 간단한분석로직 analysis_result = {"status": "completed", "timestamp": str(datetime.now())} logging.info(f"분석 완료: {analysis_result}") return analysis_result sensor_dag = DAG( 'sensor_example_dag', default_args=default_args, description='ExternalTaskSensor 예제', schedule=None, # 트리거로만 실행됨 catchup=False, tags=['cross-dag', 'sensor'] ) # 외부 DAG의 태스크 완료를 기다림 def get_most_recent_dag_run(dt): """가장 최근의 DAG 실행을 찾는 함수""" from airflow.models import DagRun from airflow.utils.session import provide_session @provide_session def get_recent_run(session=None): recent_run = session.query(DagRun).filter( DagRun.dag_id == 'trigger_example_dag', DagRun.state == 'success' ).order_by(DagRun.execution_date.desc()).first() if recent_run: return recent_run.execution_date return dt return get_recent_run() wait_for_external_task = ExternalTaskSensor( task_id='wait_for_process_data', external_dag_id='trigger_example_dag', # 기다릴 DAG external_task_id='process_data', # 기다릴 태스크 execution_date_fn=get_most_recent_dag_run, #최근성공한 실행 DAG timeout=60, # 1분 타임아웃 poke_interval=5, # 5초마다 확인 allowed_states=['success'], #성공 상태만 기다림 dag=sensor_dag ) analyze_task = PythonOperator( task_id='analyze_triggered_data', python_callable=analyze_triggered_data, dag=sensor_dag ) wait_for_external_task >> analyze_task # ======================================================== # Dataset Denpendencies # ======================================================== # Dataset 정의 (Dataset Dependencies 용) market_data_dataset = Dataset("market_data") analysis_dataset = Dataset("analysis_result") def create_market_data(**context): """마켓 데이터를 생성하고 Dataset을 업데이트""" logging.info("마켓 데이터 생성 시작") # 실제 데이터 생성 로직 query = """ SELECT symbol, AVG(price) as avg_price FROM stock_prices WHERE trade_date = CURDATE() - INTERVAL 1 DAY GROUP BY symbol LIMIT 3 """ result = execute_query(query) market_data = [] if result: for row in result: market_data.append({"symbol": row[0], "avg_price": float(row[1])}) logging.info(f"생성된 마켓 데이터: {market_data}") return market_data dataset_producer_dag = DAG( 'dataset_producer_dag', default_args=default_args, description='Dataset Dependencies - 생산자', schedule='@daily', catchup=False, tags=['cross-dag', 'dataset', 'producer'] ) create_data_task = PythonOperator( task_id='create_market_data', python_callable=create_market_data, outlets=[market_data_dataset], # Dataset 업데이트 알림 dag=dataset_producer_dag ) # Consumer def consume_market_data(**context): """생성된 마켓 데이터를 소비하여 분석""" logging.info("마켓 데이터 소비 및 분석 시작") # Dataset이 업데이트되면 자동으로 실행됨 query = "SELECT COUNT(DISTINCT symbol) FROM stock_prices" result = execute_query(query) symbol_count = result[0][0] if result else 0 analysis = { "total_symbols": symbol_count, "analysis_time": str(datetime.now()), "status": "Dataset 기반 분석 완료" } logging.info(f"Dataset 기반 분석 결과: {analysis}") return analysis def generate_final_report(**context): """최종 리포트 생성""" logging.info("최종 리포트 생성") ti = context['ti'] analysis = ti.xcom_pull(task_ids='consume_market_data') report = f"Dataset 기반 리포트: {analysis.get('total_symbols', 0)}개 심볼 분석 완료" logging.info(report) return report dataset_consumer_dag = DAG( 'dataset_consumer_dag', default_args=default_args, description='Dataset Dependencies - 소비자', schedule=[market_data_dataset], # Dataset이 업데이트되면 실행 catchup=False, tags=['cross-dag', 'dataset', 'consumer'] ) consume_task = PythonOperator( task_id='consume_market_data', python_callable=consume_market_data, outlets=[analysis_dataset], # 다음 Dataset 업데이트 dag=dataset_consumer_dag ) report_task = PythonOperator( task_id='generate_final_report', python_callable=generate_final_report, dag=dataset_consumer_dag ) consume_task >> report_task
빅데이터 docker docker-compose airflow
dellahong
2025-12-15T08:27:48.214Z
댓글 7
좋아요 0
조회수 187
해결됨
베개 투자법: 자면서 돈 버는 AI 주식 자동 매매 머신
강의 "베개 투자법: 자면서 돈 버는 AI 주식 자동 매매 머신" 에서 한국투자증권의 API 가 사용되었는데, 이것을 다른 증권회사 예를 들면 미래에셋의 API 를 사용하여 실전에 적용하는 것도 가능한가요? 이때 주의점은 무엇인가요
python 딥러닝 빅데이터 FastAPI 데이터-엔지니어링
mitco7
2025-12-12T07:52:59.373Z
댓글 2
좋아요 1
조회수 2145
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
방금 사전점수 확인했는데 합격이네요 ㅎㅎ 강사님 덕에 1트에 바로 합격한 것 같습니다. 강의가 정말 도움 많이 되었고, 질문을 많이 남겼는데 답변도 빠르게 해주셔서 보다 빠르고 효율적으로 공부할 수 있었던 것 같습니다. 감사합니다! 여담이지만 2유형은 그냥 무지성 randomforest에다가 train_test_split 검증도 안 하고 score 확인도 안 한 채로 코드 실행되는 것만 확인하고 제출했더니 5점 감점됐고, 3유형에선 민감도 구하는 문제에서 민감도가 뭐였는지가 헷갈렸는데 아마 이거 틀린 거 같네요 ㅋㅋㅋㅠㅠ
python 머신러닝 빅데이터 pandas 빅데이터분석기사
Jin
2025-12-12T07:26:20.188Z
댓글 2
좋아요 0
조회수 158
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
오늘 사전점수가 공개됐는데 랜덤포레스트 사용한 사람들은 다 감점이라네요,,ㅠㅠ 전처리할 게 아예 없었는데 재검토 요청하면 수용되는 경우도 있나요?
python 머신러닝 빅데이터 pandas 빅데이터분석기사
김혜인
2025-12-12T07:25:51.504Z
댓글 5
좋아요 0
조회수 358
미해결
빅데이터분석기사 실기 R 올인원: 3주에 끝내는 완벽 대비
같은 코드를 입력한 것 같은데, lb, ub 값이 많이 다릅니다. 어디서 오류가 생긴건지 알려주실 수 있을까요..?
구디
2025-12-08T18:37:52.798Z
댓글 2
좋아요 0
조회수 75
미해결
[2026] SQLD 문제가 어려운 당신을 위한 노랭이 176 문제 풀이
"비선호 컨텐츠 엔티티에 등록된 데이터에 대해서는 추천을 수행하지 않아야한다." 이 부분은 LEFT JOIN 을 하고 IS NULL 로도 체크가 가능하지 않을까 생각이 드는데, 설명에서 저 구분은 DIVIDE 이기 때문에 NOT EXISTS 로 해야된다고 하셨는데, 판단 이유가 궁급합니다!
mkp0131
2025-12-06T02:26:16.100Z
댓글 2
좋아요 0
조회수 96
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요, 강사님. 빅데이터 파일럿 프로젝트 강의를 수강 중입니다. 현재 강의 내용대로 Server01과 Server02를 모두 실행했고, http://server.hadoop.com:7180 주소로 클라우데라 매니저에 접속을 시도했는데 웹 페이지 자체가 열리지 않습니다. 또한 강의 자료에서 로그인 아이디와 패스워드 정보도 찾을 수 없었습니다. 혹시 클라우데라 매니저 기본 접속 주소 기본 로그인 아이디와 패스워드 접속이 되지 않을 때 점검해야 할 설정 을 알려주실 수 있을까요? 처음 환경을 구성하는 단계라서 안내해 주시면 큰 도움이 될 것 같습니다. 감사합니다.
빅데이터 hadoop kafka zookeeper redis flume impala 데이터-엔지니어링 카카오공채-개발
Suhwa Seong
2025-12-05T23:28:38.763Z
댓글 2
좋아요 0
조회수 123
해결됨
[2026년 빅분기 실기 준비] 빅데이터 분석 기사 실기 시험 100% 합격 ! 기출 문제의 패턴이 보인다 !
코랩을 처음 사용하면서 궁금한점이 있어서 여쭈어봅니다. 코랩 왼쪽 폴더 그림을 클릭하면 파일 탐색기 같은 화면에서 가장 첫번째 위치에 있는 '..폴더'를 더블클릭하면 bin, boot, ... 여러폴더가 나오는데, 여기에서 다시 이전 경로로 돌아가려면 어떻게 해야 하나요?
longlonggyu
2025-12-02T15:18:57.581Z
댓글 1
좋아요 0
조회수 96
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 빅분기 실기 강의 수강생입니다. 다름이 아니라, 제가 이번 실기 시험을 응시했지만 떨어질 것 같아서 미처 다 듣지 못한 나머지 강의들을 마저 수강하고자 하는데 혹시 2주 정도 강의 연장이 가능할 지 문의드립니다. 제 메일 주소는 ytb.nayun@gmail.com 입니다. (연장제도가 있는지 몰라서 기간 만료일에 촉박하게 문의드리는 점 양해부탁드립니다. ㅠㅠ)
python 머신러닝 빅데이터 pandas 빅데이터분석기사
RINGRING
2025-12-01T11:25:40.015Z
댓글 2
좋아요 0
조회수 212
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 이번 시험 작업형2에서 범주형 변수가 없어서 원핫인코딩을 진행하지 않았는데 자료형을 보면 int랑 float가 있는데 모든 변수를 int로 바꿔줬어야 했나요...? 다들 평가지표를 보면 0.6..., 0.7... 이런식으로 나오셨는데 저는 0.06..., 0.07.. 이렇게 나왔거든요.. 혹시 작업형2 점수는 0점처리가 될까요???
python 머신러닝 빅데이터 pandas 빅데이터분석기사
보리과자
2025-11-30T09:58:37.858Z
댓글 2
좋아요 0
조회수 135
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
아래 있는 질문과 비슷하긴 한데… 시험 시간 내에 “시험 끝내기“ 버튼을 누르지 못한 채 창이 닫혀버렸습니다ㅠㅠ 아는 문제들은 제출하기를 다 눌렀는데 채점에는 문제가 없을까요? 아예 몰라서 미제출한 문제는 그대로 미제출인채로 두어도 그 문제만 0점 받고 끝인거겠죠? 혹시 어떻게 될지 몰라서 다다음주 점수 발표까지 계속 걱정만 할것 같아요…
python 머신러닝 빅데이터 pandas 빅데이터분석기사
zhowo
2025-11-29T08:30:29.842Z
댓글 1
좋아요 0
조회수 154
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요! 세가지 질문 있습니다 [작업형 2 관련] 오늘 유형2에서 train_test_split을 사용 못하고 point = int(len(train)*0.8) x_tr = train[:point] x_val = train[point:] 와 같은 형태로 앞에서부터 자른 데이터로 학습/검증 진행했는데.. 이런 경우에, train_test_split 을 사용했을때보다 점수가 많이 낮을까요? ㅜㅜ pred == y_val 단순 비교 시 87% 일치했습니다 (object type column과 결측치는 없어서 인코딩은 생략했습니다 ) [작업형 3-1 관련] 1번문제가 특정값=N일 때와 비교하여 특정값=P일때의 종속변수 오즈비 구하는 문제였는데 특정값=N인 경우는 coefficient가 안나오더라구요.. np.exp(P인 경우의 coefficient)로 제출했는데 제가모델 만들때 뭔가 빠트린걸까요? [작업형 3-2 관련] 동일집단의 전후 비교를 물어봐서 대응표본검정 문제 같았는데, 집단의 과거 시점 데이터 중에 주어진건 특정 컬럼의 “평균값“이라서, 단일표본검정 문제를 풀듯이 ttest_1samp(df[“A“], (A의 과거 평균값) ) 으로 넣고 풀었습니다. 정확한 출제 내용 없이 질문드려서 좀 그런데.. 제가 유형 분석을 맞게 한걸까요?
python 머신러닝 빅데이터 pandas 빅데이터분석기사
osy
2025-11-29T05:53:45.902Z
댓글 2
좋아요 0
조회수 169
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 오늘 시험 보고 왔습니다! 벼락치기 하다보니..ㅠㅠ 랜덤포레스트로 풀 수 있는 템플릿 자체를 외워 제출하다보니 범주형 데이터가 아닌데도 .. 원핫인코딩을 수행했습니다ㅜㅜ 마지막 제출하기 전에 컬럼 수도 비교해봤는데 test와 동일했고 성능도 다른 분들이랑 별 차이가 안나는데.. 문제가 될 수 있을까요? 2유형에서 깎이지만 않는다면 65점으로 아슬하지만 합격할 것 같습니다ㅠㅠ 선생님 덕분입니다!!!
python 머신러닝 빅데이터 pandas 빅데이터분석기사
junghyun368
2025-11-29T05:38:39.353Z
댓글 1
좋아요 0
조회수 119
