원핫인코딩, 라벨인코딩 중 하나 결정해야할때
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요. 범주형 변수 인코딩시 원핫인코딩 또는 라벨인코딩을 활용하게 되어있는데 둘중 아무거나 활용해도 상관이 없나요? 아니면 범주의 숫자가 너무 많을 때는 라벨인코딩을 하는 것이 더 성능에 좋은가요?
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
172만명의 커뮤니티!! 함께 토론해봐요.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요. 범주형 변수 인코딩시 원핫인코딩 또는 라벨인코딩을 활용하게 되어있는데 둘중 아무거나 활용해도 상관이 없나요? 아니면 범주의 숫자가 너무 많을 때는 라벨인코딩을 하는 것이 더 성능에 좋은가요?
미해결
비전공자도 이해할 수 있는 CI/CD 입문·실전
안녕하세요, 강의 잘 듣고 있습니다 ! Dockerfile과 githubActions의 yml 파일의 경계를 잘 모르겠습니다. Dockerfile을 통해 jar를 만들어서 실행할 수도 있고, 강의처럼 yml 파일에서 jar파일을 만들 수도 있는데, 현업에서는 이 두 방식 중 어떤 걸 사용하는지 또, 어떤 이점 때문에 사용하는지 궁금합니다...! 추가로, mysql이나 redis 같은 경우는 따로 Dockerfile을 작성하지 않고 compose.yml 에서 바로 이미지 생성을 하고 있는데 이렇게 되는 경우, EC2에서 이미지가 만들어지니 각각의 Dockerfile을 만들어서 gitActions 단계에서 처리하는 게 좋을까요...?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
7회기출 풀면서,랜덤포레스트회귀로 풀었는데. R2값이 마이너스라고 놀랐고. 아래는 random_state 설정별 결과값인데, 0이 더 좋은 결과를 낸 것이라고 보면 되는건가요? (R2값을 구글 제미나이에 물어보니, 심각한 문제라고 설명해주긴 하는데. 무시해도 되는건지..) random_state=0 으로 하면. R2값 : -0.10286 RMSE : 385,935 이고. random_state=42으로 하면. R2값 : -0.05894 RMSE : 400,843 입니다.
해결됨
베개 투자법: 자면서 돈 버는 AI 주식 자동 매매 머신
안녕하세요 지금 먼저 강의 듣고 진행해보고있습니다 코드관련 지금 강사님 코드와 혼동되어있는 것 같습니다 예를들어 getbalance에 보면 appkey나 appsecret 이것도 다 강사님 개인 관련 키 아닌가요? 깃에서 다운받은 코드에 개인적인 코드가 나와있는 것 같아 확인하고자 합니다 tr id부분도 선생님 개인 코드아닌지요? localhost:8000관련 run.py를 하더라도 주소창에 localhost를 검색하더라도 나오지가 않습니다 이럴경우 어떻게 해야하나요? 데이터를 계속 불러오기 하고있어서 안됩니다. 제공된 코드를 가지고 어디어디를 수정해야하는지만 강의가 있으면 좋겠습니다. 너무 번잡스럽습니다. 강사님 개인적인 코드도 섞여있어서 그런지 localhost자체도 안됩니다 run.py를 하기 위해 강의에서 한대로 cursor에 물어봤습니다. evn에먼저 api값을 넣었고 이걸 기준으로 다른 모든 코드들을 고쳐달라고 하였습니다. 그러나 데이터만 수집이 되는게 아니라 매수 매도까지 해버리네요 데이터 따로 / 매수 매도 따로 되게 하면 좋겠습니다. 지금 제가 아직 다 본게 아니다보니 모르는걸수도있는데, 자동으로 매매 되는거 말고 주가 예측까지만 하는것도 되는것인지 저는 주가를 예측하게끔 하고싶습니다. 이것도 가능한지 궁금합니다 (이건 계속 강의를 봐봐야겠지만 확인차 먼저 글 남깁니다) 먼저는 코드를 제대로 수정이 필요해보입니다 이전에 강의가 마음에 들어 오픈되자마자 구매했는데 지금 너무 아쉬운 부분들이 많습니다
미해결
AWS로 쉽고 빠르지만 아주 견고한 서버 환경을 구축하는 방법
안녕하세요, 4강보면서 실습중인데, 마지막 postman사용해서 health check 하는 방법에 대해 자세히 알려주실 수 있나요? postman 설치까지만 해두었습니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형2 모의문제1 풀이중 08:04 #baseline cols = train.select _dtypes(include= 'object' ).columns cols train = train.drop(cols, axis= 1 ) test = test.drop(cols, axis= 1 ) print ( train.info (), test.info ()) 위와 같이 실행을 하면 test 데이터의 object 칼럼은 삭제가 안된것 같아보여서요 아래와 같이 추가로 한줄 더 안써도 되는건가요?? cols = test.select _dtypes(include= 'object' ).columns
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 대응표본검정 심화 부분 # Shapiro-Wilk(샤피로-윌크) 정규성 검정 df['diff'] = df['after'] - df['before'] from scipy import stats stats.shapiro(df['diff']) # Wilcoxon(윌콕슨)의 부호 순위 검정 수행 stats.wilcoxon(df['after'], df['before'], alternative = 'greater') 결과 : WilcoxonResult(statistic=np.float64(47.5), pvalue=np.float64(0.017578125)) 강의와 p-value값이 차이가 있는데 잘못된 부분이 있을까요? (강의 p-value 값 : 0.024410625)
해결됨
비전공자도 이해할 수 있는 Docker 입문/실전
안녕하세요. EC2 강의를 듣던 중, 프론트엔드 애플리케이션은 주로 CDN을 통해 배포하고, 백엔드 API 서버는 EC2에 배포한다고 설명해주셨는데 이와 관련해 궁금한 점이 있습니다. 만약 CSR 기반의 프론트엔드 프로젝트라면, 빌드 후 생성된 정적 파일을 S3에 업로드하고 CloudFront 같은 CDN을 통해 배포하는 방식이 충분하다고 생각합니다. 하지만 최근에는 React에서 Server Actions 같은 서버 기능이 도입되고, Next.js 역시 SSR, API Routes 등을 포함하면서 정적 파일만으로 구성되지 않는 경우가 많아지고 있습니다. 이런 경우, 프론트엔드 애플리케이션은 어떤 방식으로 어디에 배포하는 것이 적절할까요? CDN만으로는 어려워 보이는데, EC2나 다른 대안이 있는지도 궁금합니다. 감사합니다.
미해결
비전공자도 이해할 수 있는 Docker 입문/실전
compose up -d --build 를 통해 최종적으로 다합해서 시작을했는데 에러가 뜨는게아니라 계속 과부하 걸리는지 EC2가 먹통이되더라고요 로컬로해도 계속 메모리부족같은게 뜨면서 프로그램 실행중인거 끄라고 그러는데 뭔가 메모리를 어디서 엄청 잡아먹는거같은데 다른건 다괜찮은데 compose로 mysql이랑 springboot연결하면 그런거같네요
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
교재 92페이지 df.iloc[1:3, '메뉴' : '칼로리'] df.loc[2:3, '메뉴' : '칼로리'] loc는 실행되고, iloc는 '메뉴':'칼로리'에서 에러나는데 이유가 있을까용?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
섹션5. 28, 29 번 강의 중 궁금한 것이 생겨 질문 드립니다. 왜 28(분류) 에서는 train 데이터와 test 데이터를 각각 인코딩하고 29 (회귀) 에서는 train 데이터와 test 데이터를 합친 후, 인코딩하고 다시 분리하는지 궁금합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
트레인과 테스트의 범주형 데이터가 다를 수 있어서 그냥 처음부터 두 데이터를 합쳐서 레이블이나 원-핫인코딩을 하려고 합니다 1.레이블인코딩시 df=pd.concat([train,test]) 후 cols= df . select_dtypes(include='O').colunms 로 가능한가요? 그리고 합쳐진 데이터니까 df[col]=le.fit_transfom(df[col])만 해주면 되는거죠? 어차피 두 데이터를 합쳐서 할 경우 set함수사용은 불필요한거죠? f1스코어를 사용할경우,average꼭 넣어주어야하나요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형2, 모의고사1 target : Attrition_Flag (1:이탈, 0:유지)일경우 roc_auc_scored사용시 예측값으로 pred[:,1]했는데 확률값으로 무조건 1열을 정답으로제출하면 되나요? 1:이탈이라는 뜻은 1열이 이탈이라는 뜻인가요?
미해결
Airflow 마스터 클래스
강사님 airflow 설치 과정 중 example_bash_operator 의 dag 가 전혀보이지않아 문의드립니다 . 강의대로 따라하고 docker compose up 시, 정상작동을 하는 것같고 다른분들은 example_bash_operator의 dag이 잘보이는거 같은데, 저만 따로 보이지가 않네요.. 어떻게 해결을 하면 좋을까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
pred[ : ,1]을 하는 이유는 이해가 되는데 iloc를 안써도 되는건가요? pred[ : ,1] 와 pred.iloc[ : ,1] 은 쓰임새가 다른건지 궁금합니다..
해결됨
Airflow 마스터 클래스
질문이 있습니다. [Bash Operator & 외부 쉘파일 수행하기] 강의의 22:20 즈음에 설명해주시는 Unpaused 이후 Dag 의 자동 실행이 어떤 조건에 일어나는 지를 설명해주셨습니다. 그리고 여기서 Next Run 이후의 시간에 Unpause 를 해도, 동작 안하므로 Trigger 를 수동으로 클릭해야 된다고 알려주십니다. 그런데 이후에... [Python 오퍼레이터 기본] 강의의 10:30 즈음에 Unpause 를 누르자 자동으로 실행이 되는 걸 확인할 수 있습니다. 10:21 에는 분명 Next Run 이 2023-03-18, 06:30:00 이라서 분명 과거인데도 자동으로 시작이 되고 있습니다. Next Run 이후의 시간대에서 Unpause 를 하면 자동 실행이 안되서 Trigger 를 한번 해줘야되는 거 아니였나요? 여기서는 왜 실행이 된 건가요??
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
from sklearn.metrics import roc_auc_score roc_auc=roc_auc_score(y_val, pred[:,1]) #y_yal=검증데이터의 정답 print('roc_auc: ',roc_auc) 에서 >50K 값만 넣으라고 했으니 리스트로 치면 1번째에 있는건 알겠는데(['<=50K' '>50K'] 로 되기때문) pred[:,1]에서 콤마가 뭐 때문에 쓰이는지 이해가 되지 않습니다..!
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요 작년에 빅데이터 시험 상반기는 접수해놓고 보러가지 못했고 하반기 시험은 떨어졌습니다ㅜ 이번 실기는 꼭 붙고 싶습니다! 강의가 이틀 뒤 만료인데 혹시 시험 전날인 20일까지 연장이 가능할지 여쭤봅니다.. 제 메일 주소는 blue6143@naver.com 입니다!
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
위의 화면은 정상적으로 작동이 되어 연습이 가능하지만 어떤 문제는 console창이 계속 떠 작동이 안 됩니다. 어떻게 하나요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 인코딩할때 train과 test의 범주형데이터가 다를경우 합쳐서 인코딩하는걸로 알고있는데 데이터 갯수가 다르면 합쳐서 하는걸까요?아니면 set을이용해서 다 확인을 해봐야 하는건가요?