[데이터 전처리] dropna에서 특정 두 지표만 기준으로 결측치를 제거한 이유가 궁금합니다

Question

안녕하세요. 데이터 결합 후 아래 코드에서 result_df = result_df.dropna( subset=['10년 기대 인플레이션율', '장단기 금리차'], how='any' ) 전체 지표가 아니라 '10년 기대 인플레이션율' , '장단기 금리차' 두 컬럼만 기준으로 결측 행을 제거한 이유가 궁금합니다. 이후 ffill() 로 나머지 결측값을 채우는 구조인 것으로 이해했는데, 이 두 지표의 데이터 시작 시점에 맞춰 전체 학습 구간을 설정하기 위한 것인지, 아니면 모델링상 반드시 포함되어야 하는 핵심 변수라서 별도로 처리한 것인지 궁금합니다. 감사합니다.

치트키맨 (치트키 알려주는 남자) · Answer

안녕하세요, @운머님. 운머님께서 생각하신 두 가지 이유가 모두 맞습니다. 학습 시작 구간 설정 (유효 분석 기간) 지표마다 데이터 수집 시작 시점이 다릅니다. 두 핵심 지표가 모두 집계되기 시작한 시점을 전체 데이터의 실질적인 분석 시작점 으로 정하기 위함입니다. 핵심 변수 왜곡 방지 보조 지표의 일시적 공백은 ffill() 로 채워도 무방하지만, 모델링의 핵심인 두 지표 자체가 없는 과거 구간은 단순 대체보다 제외하는 것이 데이터 신뢰성 측면에서 안전 하기 때문입니다. 즉, "두 핵심 지표가 모두 존재하는 시점부터 분석을 시작하고, 나머지 미세 결측은 ffill() 로 채운다"고 이해하시면 됩니다. 추가로 궁금한 점이 있으시면 언제든 편하게 질문 주세요. 감사합니다!