고차원 데이터 질문

안녕하세요. 우선 답변이 늦어서 죄송합니다. 답변이 없으면 dream@fun-coding.org 로 메일주시면 최대한 24시간내에 답변드리겠습니다.우선 좋은 질문 감사합니다.말씀하신 대로 컬럼이 수백~수천 개에 달하는 고차원 데이터의 경우, 타이타닉처럼 모든 컬럼을 일일이 타겟변수와의 관계나 컬럼 간 상관관계를 살펴보는 방식의 EDA는 현실적으로 어렵습니다. 다만, 이 경우에 바로 PCA와 같은 차원축소 기법을 먼저 적용하는 것은 일반적으로 권장되지 않습니다.그 이유는 PCA는 데이터의 분산을 최대한 보존하는 새로운 축으로 변환하는 방식이기 때문에, 변환 후의 주성분(Principal Component)은 원래 컬럼의 의미를 잃어버리게 됩니다. 즉, EDA의 본래 목적인 '데이터에 대한 이해'를 얻기 어려워집니다. 또한 PCA는 수치형 데이터에 적합하고 스케일링이 선행되어야 하는 등 전제 조건도 있어, 무작정 먼저 적용하기에는 무리가 있습니다.고차원 데이터를 다룰 때는 보통 다음과 같은 순서로 접근합니다. 먼저, 도메인 지식을 활용하여 분석 목적과 관련성이 높은 컬럼들을 우선적으로 살펴봅니다. 그리고 결측치 비율이 너무 높거나 분산이 거의 없는 컬럼, 중복되는 컬럼 등을 제거하여 컬럼 수를 1차적으로 줄입니다. 이후 타겟변수와의 상관계수, Mutual Information, Feature Importance(강의 내에서도 이 작업을 설명드리고 있습니다) 등을 통해 중요도가 높은 컬럼들을 선별하여 집중적으로 EDA를 진행합니다.PCA나 t-SNE, UMAP과 같은 차원축소 기법은 주로 데이터 시각화(2D/3D로 데이터의 분포나 군집 구조를 파악)나 모델링 단계에서 다중공선성 해결, 연산 효율 향상 등의 목적으로 활용하는 것이 일반적입니다.정리하면, 고차원 데이터의 EDA는 '차원축소 먼저'보다는 '의미 있는 컬럼 선별 먼저'의 관점으로 접근하시는 것을 추천드립니다.추가로 궁금한 점 있으시면 언제든 dream@fun-coding.org 로 문의주셔도 좋습니다. Dave Lee 드림

동기와 비동기 엔진 부분에 대해서 궁금해서 문의드립니다.

안녕하세요. (우선 답변이 늦어서 죄송합니다. 답변이 없다면, dream@fun-coding.org 로 문의해주시면 최대한 24시간내에 답변드리겠습니다.)기본적으로는 시간이 오래 걸릴만한 것들은 비동기로 처리를 하고요. 시간 지연이 없고, 그 다음 단계에 영향을 미친다면, 동기로 처리하고 있습니다. 비동기를 개인적으로 선호하기는 하지만, 순차적으로 단계가 있는 작업일 경우에는 오류가 있을 수 있어서, 비동기는 조금더 고민해서 사용합니다. 감사합니다.

강의노트는 제공 안해주시는 게 맞나요?

안녕하세요.수업자료 다운로드 영상 한번만 봐주시면 다음과 같이 상세한 문서자료도 공유드리고 있습니다. 감사합니다. 1. 문서자료자료 권한 신청 메일주소: dream@fun-coding.org- 강의명- 강의 계정: 수강한 이메일- 구글로그인가능한 계정(@gamil.com 또는 자신 이메일로 구글 회원가입)* 1계정당 1이메일에 권한을 제공합니다.2. 코드자료- 바로 본 챕터에서 다운로드 받으세요~

선생님 강의중에서 sqlite3 강의를 제공한 강의가 있나요?

안녕하세요. 우선 관심 가져주셔서 감사합니다.sqlite 를 설명한 강의는 강의 자체로는 없었을 것 같아요. 다만, mysql 강의를 학습하시면 sqlite 는 동일한 SQL 이라서 쉽게 사용 가능합니다. 감사합니다.

업데이트 강의

안녕하세요. 우선 불편을 드려 정말 죄송합니다.최근에 영상을 좀더 편하게 수강하실 수 있도록, 수정하여 업데이트하였는데, 마지막부분들이 조금씩 끊기는 문제를 발견했습니다. 지금 바로 관련 강의를 다시 업데이트하였습니다. 혹시라도 추후에도 또다른 이슈가 있으시면, 가볍게 dream@fun-coding.org 로 메일 보내주시면, 24시간 내에 확인해서 개선하겠습니다. 감사합니다.

섹션17 81번이랑 82번 강의가 중복되는 것 같아서 질문드립니다.

안녕하세요.우선 불편을 드려 죄송합니다.최근에 강의 영상을 좀더 보시기 편하게 업데이트하다가, 실수가 있었던 것 같아요.지금 업데이트했는데, 인코딩에 시간이 걸려서, 내일부터는 정상 시청이 가능할 것 같습니다.이후로도 이슈 있으시면 dream@fun-coding.org 로 메일주시면 하루내에 확인해서 적극적으로 수정하겠습니다.감사합니다.

16강에 원래 있어야 할 강의 내용이 없고 23강 내용이 그대로 업로드 되어 있습니다.

안녕하세요. 우선 제가 문의를 놓쳐서, 불편을 드려 죄송합니다.최근 영상을 개선하여 재업로드하다가, 16강을 23강 영상으로 덮어씌웠더라고요. 금일 인프런측을 통해 이 사실을 알게 되어, 바로 업데이트하였습니다. 혹시라도 그래도 이슈가 있으시면, dream@fun-coding.org 로 메일주시면 하루내에 바로 적극적으로 지원해드리겠습니다. 감사합니다.

강의에 관해 문의 드립니다.

안녕하세요.우선 불편을 드려 죄송합니다.본 강의는 part1 과 사실 거의 관련이 없습니다. part1은 완전히 다른 기능(파이썬 기반 백엔드)을 설명하고 있어서요. 또 본 강의에서 모든 용어도 가능한 입문자 레벨에 맞추어 한번씩은 최대한 상기해드리면서, 진행하고 있어서, part1 을 수강하지 않으셨고, 프론트엔드에 관심이 있으신 분들이 많이 들으셨어요. 이미 수년간 수천분께서 유사한 상황에서 수강하셨을때 아직까지 어떤 설치를 생략해서 진행이 안된 경우는 없었는데요. 혹시 어떤 설치를 이야기하시는 것인지 알 수있을까요?괜찮으시면 dream@fun-coding.org 로 인프런 계정 정보와, 본 강의명, 어떤 설치가 어려우셔서 진행이 어려우신지 가볍게 공유해주시면 최대한 지원해드리겠습니다.감사합니다.

test / train 데이터 나누기

안녕하세요.회사에서는 원본 데이터를 보통은 전처리(결측값, 이상치등등) 전에 바로 train 과 test 데이터로 나누는 경우도 많습니다. 전처리를 먼저 하고 나누면 test 정보를 미리 보게 돼 성능이 부풀어질 수 있기 때문입니다. 다만 전처리 이후 (전처리를 어떻게 하느냐도 실제 만들고자하는 모델의 입력이 어떻게 될 것이냐에 따라 다를 수 있고요) train/test 데이터로 나눌 수도 있어요. 이는 전적으로 실제 만들고자 하는 모델에 따라 다를 것 같아요. 감사합니다.

학습자료가 없어요

안녕하세요.학습 자료는 다음 챕터에 공유받는 방법 영상과 함께 자료도 다운받으실 수 있또록 해놓았거든요. 자료 다운이 잘되고 있어서 한번 확인부탁드려도 될까요? 그래도 이슈가 있으시면 dream@fun-coding.org 로 메일로 가볍게 알려주시면 지원하겠습니다.감사합니다. (사진)