데이터 전처리 강의 내용 중에 X_train 데이터와 X_test 데이터의 결측치를 동일하게 채워주라고 말씀해주셨고, X_train의 행삭제는 가능하지만 X_test의 행삭제는 하면 안된다고 말씀해주셨습니다. 이렇게 되면 X_train에서 결측치가 있다고 행삭제를 해버리면 X_test에서는 결측치가 있는 행이 그대로 남아있을텐데 X_train의 행삭제로 결측치를 해소하는 방법이 어떤 의미가 있는지 이해가 잘 되지 않아 문의드립니다.
강의에서 설명하지 않으신 내용인데요 가능한지 궁금하여 여쭈어봅니다. Conda-forge 내에 postgresql package가 있습니다. ( Postgresql | Anaconda.org ) 물론 서비스 시에는 database 서버를 따로 두는게 좋다는건 수업 때 설명으로 이해하였습니다. 그러나 실 서비스 시 postgresql를 사용할 것이라면 개발 시에 sqlite 대신 위 package를 사용하는게 만약 더 적합할까요? 배포 과정 설명 시에 로드 밸런서가 작업을 서버에 할당해준다고 설명해 주셨는데, 보아하니 각 작업을 싱글 쓰레드로 할당하는 것 처럼 보였습니다. 장고의 경우 View 단에 multithread로 작업할 내용이 있다면, 어떻게 처리해야 하나요?
az vm open-port --resource-group kaggle-linux-gpu_group --name kaggle-linux-gpu --port 3389 Please run 'az login' to setup account. 상기와 같이 az login 을 하라고 하는데 인터넷에서도 해결법을 찾기가 쉽지 않네요. 도움 부탁드립니다
표본검정 관련 기출이 없어서 물어봅니다. 혹시,, 정규성이랑, 분산 뭐 이런거 만족한다고했을떄, ttest_1samp, rel, ind 로 풀잖아요,, 근데 정규성이랑 분산만족못하면 비모수 검정까지 하잖아요, 그럼 비모수 검정하고, 다시 ttest 해줘야하는 건가요? 아니면 비모수 검정까지 한 p 값을 적으면 되는 건가요?
1) 수치형 데이터만 뽑아서 스케일러를 한 후에 범주형 데이터를 라벨인코더하는 것이 맞는지, 2) 아니면 범주형 데이터를 라벨 인코더 하고 전체 데이터를 스케일러를 해도 될지 궁금합니다. minmax말고 standardscaler를 활용하려고 합니다. 3) 또한, scaler할 때는 타겟값인 (y_tr)값을 제외하고 스케일러를 돌려야할지요?
안녕하세요 강사님! 강의 잘 보고 있습니다! 다름이 아니라 개인적으로 공부를 하면서 db와의 통신 부분에서 궁금한 부분이 생겨서 질문드립니다! 에어플로우를 공부하면서 mysql 컨테이너도 함께 띄워서 db와의 통신을 공부하고 있고, 현재 db에 접속해서 저장된 데이터를 불러오고, 새로운 데이터를 insert하는 실습을 하고 있습니다. 몇몇 소스 코드를 보면 데이터를 불러오기 위해서 db와 연결하거나, db의 데이터를 조회할 때는 psycopg2나 pymysql과 같은 라이브러리를 사용하고, 수집 후 전처리된 데이터를 저장 할 때는 SQLAlchemy를 사용하는 코드들을 많이 봤는데, 이렇게 작업에 따라서 다른 라이브러리를 사용하는 이유를 알 수 있을까요?? 제가 알기로는 psycopg2나 pymysql, SQLAlchemy 모두 데이터 조회, 저장 기능을 전부 사용가능한걸로 아는데 어떤 이유에서 작업별로 다른 라이브러리를 사용하는지 궁금합니다!
이 오류가 뜨는데, 코딩에는 문제가 없어서 앞에서 부터 다시 실행하면 오류 안뜨다가 다시 재 실행하면 뜨다가 합니다... 선생님 해주신 그대로 따라하면서 공부하고 있기 때문에 틀린 부분은 없습니다. 또한 똑같은 코딩을 실행해도 어떨땐 되고 어떨땐 안되서 난감합니다. 어떻게 해야 할까요?
데이터 결측치 전처리 하는데 이렇게 코드 작업을 했더니 워닝 메시지가 뜨는데 시험환경에서도 수정이 필요할까요? # 데이터 전처리 _ 결측치 대체 df['fuel_type'].fillna(df['fuel_type'].mode()[0], inplace = True) df['accident'].fillna(df['accident'].mode()[0], inplace = True) df['clean_title'].fillna(df['clean_title'].mode()[0], inplace = True) [워닝메시지] <ipython-input-37-b2145d16d236>:15: FutureWarning: A value is trying to be set on a copy of a DataFrame or Series through chained assignment using an inplace method. The behavior will change in pandas 3.0. This inplace method will never work because the intermediate object on which we are setting values always behaves as a copy. For example, when doing 'df[col].method(value, inplace=True)', try using 'df.method({col: value}, inplace=True)' or df[col] = df[col].method(value) instead, to perform the operation inplace on the original object. df['fuel_type'].fillna(df['fuel_type'].mode()[0], inplace = True)
혼자 문제를 풀어보고 있는데요 여기서 마지막에 평가할때 pred=rf.predict_proba(test) 에서 계속 오류가 납니다.. 이렇게 오류가 나는 이유가 뭘까요,,, 원래 하던데로 그대로 하고 있는데요ㅠ 문제가 roc로 평가하는거라서 predict_proba로 하고 있어요
저는 데이터를 drop하지 않고 그냥 바로 target = train.pop['타켓컬럼'] 한뒤 바로 train =pd.get_dummies(train) test =pd.get_dummies(test) 를 바로해주는데,, 꼭 id값을 drop 해야하나요? 안하면,, 결과가 많이 안좋나요?
안녕하세요. 저는 지금까지 실습을 할 때 sum()함수의 괄호 안에 아무것도 넣지 않고 진행을 했습니다. 그런데 9회 실기 응시가이드 영상을 보니 괄호 안에 sum(numeric_only=True) 를 넣으라고 하셨는데요. 그냥 sum함수를 쓸 때마다 무조건 sum(numeric_only=True)를 넣으면 되는 건가요? 아니면 9회 실기 응시가이드 영상에서 보여주신 대로 에러가 발생할 때만 넣어주면 되는 건가요? numeric_only=True를 어떤 상황에서 넣어야 되는건지 정확히 모르겠어서 질문 남깁니다.
안녕하세요 rag의 최적화 및 성능 향상을 위해 이것저것 알아보다 HTML구조가 Plain Text 보다 훌륭한 결과를 도출할 수 있다는 논문이 있어서 의견을 물어보고 싶습니다. https://arxiv.org/pdf/2411.02959 논문에서는 HTML 형식이 일반 텍스트보다 우수한 성능을 보인다고 하고 있습니다. 저의 경우 데이터 수집을 크롤링으로 하고 있는데 만약 HTML이 더 우수하다고 한다면 굳이 html tag를 처리하는 노다가를 하지 않고도 오히려 더 좋은 성능이 나온다고 하니 솔깃한 마음이 있네요 또 강의에서는 표를 이해시키기 위해 마크다운 형식으로 전처리 작업을 했는데 이건 특정 모델마다 (ex openAI, Llama) 편차를 보이는지 궁금합니다
고수가 되는 파이썬 : 동시성과 병렬성 문법 배우기 Feat. 멀티스레딩 vs 멀티프로세싱 (Inflearn Original)
안녕하세요 py_ad_1_5.py 파일 관련 강의 듣다가 질문 드립니다. threading.Thread로 스레드 직접 두 개 만들어서, start()를 했을 때는 두 작업이 병렬적으로 진행되는 것으로 보였는데요 (First, Second에 해당하는 logging이 번갈아 찍혔습니다) 하지만, executor.submit으로 실행시에는 First task에 해당하는 logging이 전부 끝난 다음에 Second task에 해당하는 logging이 시작되는 것을 확인했습니다. submit으로 실행시에는 내부에 join이 있다거나 별도의 동작이 있는 걸까요?
안녕하세요. 작업형3 로지스틱회귀모형 캐글 문제를 보니 Pclass에만 C()처리하고, Gender는 object형임에도 C()처리 하지 않으셨더라구요. C()는 범주가 3개 이상일 때만 해당되고 범주가 2개일 때는 처리하지 않아도 된다고 이해하면 될까요? model = logit("Survived ~ C(Pclass) + Gender + SibSp + Parch", data=df).fit()
