이 부분도 이해가 잘 안 가서 추가로 질문드려요. Sink 과정을 자세히 쪼개보면 SinkWriter, Committer, Global Committer로 나눌 수 있는데, SinkWriter로 로컬에 데이터를 임시로 쓰면 Committer가 커밋을 수행한다는 내용이 맞나요? 그리고 Topology 용어도 궁금한데요 Topology가 네트워크 시간에 노드들을 연결해놓은 방식이라고 배웠었는데요 여기서 Topology가 어떤 뜻으로 사용되나요? (강의 덕분에 단어도 많이 알아가네요) 마지막으로 flink 문서를 찾아보니 SinkWriter, Committer, Global Committer 클래스가 삭제 되었다고 나오는데요, 버전업이 되면서 이제는 이런 방식으로 동작하지 않는 건가요? 답변 미리 감사드립니다.. 🙌 저는 오늘 이까지 들으려구요. 휴가 잘 다녀오세요!!!

LDA나 NMF 에서 component 수를 어떤 것을 참고해서 최적의 수를 찾을 수 있을까요?군집에서 엘보우플롯이나, 실루엣 스코어를 참고했는데, 혹시 이렇게 참고할 만한 것이 있을까 궁금합니다.

안녕하세요 강사님, 강의 중 이 페이지가 도저히 이해가 안 돼서 추가적으로 (되도록이면 한글로) 풀어서 설명 부탁드려도 될까요? 질문드릴 내용과 제가 이해한게 맞는지 확인하는 부분 두 부분으로 나눠서 작성해두었습니다.  [질문드릴 내용]First Class Support에 대해서 궁금합니다. 왜 First Class라는 용어를 사용하나요?Periodic checkpointing, Robust의 차이가 궁금합니다. 유추상.. Periodic checkpointing은 주기적으로 체크포인트를 지정해서 체크포인트 기준으로 다시 동작시키기 때문에 중복 처리를 할 수 있는데, Flink는 exactly once를 지원하기 때문에 무조건 한 번만 실행함을 보장하는 건가요?Backpressure는 데이터가 많이 들어와 병목이 생길 때 처리인데, Spark는 지원 범위가 좁고 Flink는 세밀하게 지원 가능한건가요?추가로 fine-grained 용어가 무슨 뜻인지도 궁금합니다.  [제가 이해한게 맞는지 확인 부탁드려요]maintain state across events: flink가 event 기반으로 동작하고, 이벤트간의 상태를 알고 있다는 뜻인가요?Spark이 Standalone하고 윈도우 사이에 연결이 없다: 추측상 데이터를 윈도우 단위로 잘라서 처리하고, 윈도우끼리 상태를 공유하지 않는다는 뜻 맞을까요?  [설명 스크립트]Apache Flinke Better Fault Tolerancee-Consistency를 가지고요.Across Events 간의 maintain 합니다.예를 들어서 유저 간의 세션 데이터를 다 계속 모아서 사용할 수가 있어요.그에 반해서 Spark는 심플하고요.Standalone, 윈도우 간에 연결하는 게 없고요.Light, Stateful, Workload라고 생각하시면 됩니다.스파크는 스테이트풀 스트림을 베이직 서포트만 한다 고 하는 거고요.Flink는 Across 이벤트별로 스테이트를 메인테인하기 때문에 First Class Support로 시작할 때부터 그런 식으로 만들었습니다.체크포인트 측면에서도 Spark는 Periodically 체크 포인트를 하지만 Flink는 Robust, Exactly Once 체크포인트를 지원해서 아 주 작은,very low한 오버헤드를 가지고 있습니다Backpressure 같은 경우는 데이터가 엄청나게 많이 들어오잖아요 그럴 경우에 어떻게 핸들할 건가 기본적인 것만 스파크는 서 포트를 하구요 fine-grained 하지않습니다.그에 반해서 이제 Flink 같은 경우에는 백프레셔 메카니즘이 기본적으로 빌트인되어있기 때문에 Smooth flow control과 stability가 같이 들어 있습니다.

Sampling Bias 가 표본편의라고 나오는데 맞는 말인지요? 표본편향 아닌가요? 반복적으로 편의라고 나오는데 편향이 아니고 편의라고 하는 이유를 알고 싶어요.

표본의 분위수를 구하는 방법에 대한 설명이 조금 헷갈렸습니다.데이터를 오름차순으로 정렬하고,'α 분위수는 α * 100% 위치의 값이다'라고 하셨는데,'위치'가 단순히 데이터의 개수로 따져서n * α 를 가리키는 건지,아니면 데이터 범위 안에서{x_(n) - x_(1)} * α + x_(1) 에 가까운 값의 sub index를 찾고자 하는 건지 혼동됩니다.

학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요먼저 유사한 질문이 있었는지 검색해보세요 저번 실기시험에서 낙방할때 R로 작업을 했는데요 1유형을 R로 하고 2,3유형을 python으로 한다거나유형에 따라 교차로 시험 볼수 있나요? 갑자기 생각 안나면 그전에 외웠던거라도 해야 하나 싶어서 여쭙니다

안녕하세요, 강사님이 실무에서 dbt를 사용하시면서 느끼신 단점 혹은 한계점이 어떤 게 있는지 궁금합니다.예시로, connection은 너무나 많고, 각각의 구현에 의존하다 보니 생기는 불편한 점이 종종 있습니다. GCP BigQuery의 경우 custom labeling이 dataset 단위는 불가능, table 단위로만 가능하기 때문에 dataset 단위로 cost가 측정되는 GCP 특정 상 custom label 단위로 cost breakdown이 어려워진다는 한계점이 있습니다. (as of 2025.10)

안녕하세요 SQLD 개발자 자격증을 취득하면 빅데이터분석 자격증을 취득하는데에 도움이 될까요?감사합니다!

안녕하세요 강사님dbt랑 airflow를 현재 수강중인 직장인입니다.배울수록 굉장히 활용범위가 넓은 툴이라고 생각이 됩니다. 두가지 질문 드리고 싶은데요1) 현재 저는 dbt+Airflow 기반으로 CRM 분석 마트 테이블을 팀에 적용하려고 하고 있습니다. 현재 raw테이블을 자동화해서 airflow로 db에 적재하여 사용하고 있는데요, 조인 결합, 가공을 통한 2차, 3차 테이블들은 현재 수동으로 만들어지고 있고 이를 자동화하려고 하고 있는데 현재 운영 및 성과 분석을 위한 너무 많은 테이블이 생기면서 점점 복잡해지고 있어 처음 만든 저도 헷갈려지는 단계에 왔는데...설계 관리(테이블간 관계, 단계로직을 정리하여 적재)하는 것에 대한 노하우가 있으신지 궁금합니다. 그리고 설계 이후 dbt로 만든 모델을 팀원들(분석가나 마케터) 쉽게 활용할 수 있게 하려면, 어떤 방식으로 문서화나 공유를 하시나요?2) Airflow DAG에서 dbt run/test를 통합할 때, 실행 단위를 모델 단위로 쪼개는 게 좋은가요, 아니면 전체 프로젝트 단위로 돌리는 게 좋은가요?

안녕하세요, 강의 잘 들었습니다.아직 실무에 flink를 사용해 본 적이 없어 조금 더 구체적인 장점등을 알고 싶어 질문 드리게 되었습니다.사실 기존에는 kafka만을 사용해서 실시간 데이터 처리를 하는 사례도 많았던 것 같은데이 때 추가로 flink를 사용할 때 kafka만을 사용할 때 보다 어떤 부분이 더 나은지 등에 대해 조금 궁금해져서 질문 드립니다.

안녕하세요! 강의를 계속 보다 빅데이터 분석 심화 관련 수업도 신청하고 싶은데, 혹시 향후 심화 수업도 개설할 의향이 있으신지 여쭤보고 싶습니다!

안녕하세요?문자열 슬라이싱 실습하는데 결괏값에 작은따옴표가 나오든 안나오든 상관 없나요? 

groupby()로 단순히 “그룹마다 몇 개씩 있는지”만 보고 싶을 때는 count() 말고 size()도 있던데, 두 함수의 차이가 뭔가요?

선생님, 교재 작업형1 연습문제를 풀어보려고 하는데 연습문제 파일은 어디에 있나요?

for i in range(0, 5): list_box = [] for k in range(0, 200): ran_num = random.randint(1,200) list_box.append(ran_num) df[i+2000] = list_box df = df.T제가 이해하기로는 2000 부터 2004까지 5개의 행을 만들고각 행에 200개의 자료를 넣는데 1부터 199 까지의 정수를 넣는다.그렇다면 df.T는 어떤 의미일까요?그리고 randint 이 함수는 랜덤정수를 생성한다는 것일까요? 1부터 200 사이의 정수를랜덤으로 넣는다는 의미가 맞을까요?

안녕하세요 강사님,이전에도 같은 질문을 드린 적 있으나 아직 답변을 받지 못해서 다시 한 번 질문 드리는 점 양해 부탁드립니다.제 강의 기한이 이번달 16일까지이지만.. 혹시나 가능하다면 올해 하반기 시험이 열리는 11월 29일까지 강의 기한을 연장할 수 있을지 문의드리고 싶습니다.기간 연장이 안된다면..ㅠㅠ 1.5개월 치 수강료라도 결제하고 싶습니다..ㅠㅠ메일 주소 남겨놓고 갑니다, 답변 해주시면 너무나도 감사하겠습니다!!dabin644@naver.com 감사합니다!

10회 기출문제 pdf 파일은 언제 올라오나요? 교제도 없는 내용이라 이 점 궁금합니다.

학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요먼저 유사한 질문이 있었는지 검색해보세요  안녕하세요.시험시 코드 실행이 어떻게 되는지 질문드립니다!코랩에서는 셀별 실행이 가능해서 결과를 보면서 할 수 있었는데,시험장에서 '코드 라인별 실행 불가' 관련해서 제가 이해한게 맞는지 확인차 질문 남깁니다. 1. 문제당 전체 실행 결과만 볼 수 있다고 보면 될까요?최종 결과만 나오기 때문에 print로 중간중간 값을 찍어야 한다고 하신 것이라고 이해했는데 맞는지 확인부탁드립니다~ 2. 강의들으면서 colab에서 shift+enter로 실행하는 습관(?) 이들었는데 시험환경에서는 활용이 불가능한 것이겠죠?  좋은강의 감사합니다 

from google.colab import filesupload = files.upload() 위 명령어 실행없이 바로 데이터 불러올수없나요?퇴근후딴짓님처럼 바로 df=pd.read_csv("members.csv")로 불러오고싶은데 에러가 나네요No such file or directory:members.csv  

안녕하세요. 10회 기출에 대한 강의 업데이트가 언제 될까요??10월까지라고만 명시되어 있어서요, 대략 언제쯤 인지 궁금합니다..