173만명의 커뮤니티!! 함께 토론해봐요.
미해결
TEXTOM SV로 해보는 빅데이터 분석 (정제부터 시각화까지)
데이터 전처리 과정에서 분석대상 키워드에서 제외는 어덯게 하나요? 예를 들면 수집된 빈도수 높은 단어 중 "위, 등, 것 "같은 단어들은 제외하고 보고 싶은데 어떻게 하면될까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
스케일링을 할 때, minmax scaler랑 standard scaler 는 train,test data의 columns에 스케일링을 하는데 log scaler할 때는 값이 커보여서 내지는 편차가 있어보여서(?) log scaling에 적합해 보이는 타겟인 ['charges'] column에만 하잖아요, 근데 rmse값은 모든 columns에 대한 값인데 하나의 column을 log scaling했다고 np.exp를 씌우는게 왜 괜찮은지에 대해서 궁금합니다.. 해당 강의에서는 train data에만 log scaling을 했는데 왜 얘만 test data에는 안 하는거죠? minmax랑 standard할 때는 train, test 둘 다 했는데 말이죠.. X_train, Y_train, x_test 세 개가 주어지는 경우와 train, test가 주어지는 경우의 차이는 train data의 column에서 타겟을 뽑아 새로 y_train 같은 존재를 제가 만든다는 점만 다르다고 생각하면 될까요? 이거 말고 주의해야 될 사항이 있나 궁금합니다. 이상입니다 ! + 실기 대비용으로 본 강의 탑승한 거 만족하면서 강의 잘 듣고 있습니다 ~ 감사합니다ㅎㅎ
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
"수업노트에 링크를 첨부해두었으니 확인해 주세요" 에서 수업노트를 못찾겠네요 ㅠㅠ 오른쪽에 나열된 "커리큘럼, 커뮤니티, 노트. 성장로그, 스크립트" 에서 노트를 클릭해도 링크가 안떠서 혹시 다른 데에 있는지 궁금합니다
해결됨
[2026 신규] 데이터분석 준전문가(ADsP) 자격증
21:39 분에 Po가 왜 0.7인가요?? 봐도 이해가 안되서 질문드립니다..
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요? 선생님! 이원분산분석 강의의 데이터가 다운로드가 되지 않습니다. 확인 부탁드립니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
6회 기출 문제 관련 강의 올려 주셔서 감사드립니다. 6회 기출의 작업형1 과 작업형 2의 데이터가 열리지 않아서 다운을 받을 수 없습니다. 확인 부탁드립니다. 감사합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형2 모의문제1 27:08초 안녕하세요. 모델의 성능 수치가 0.989404816...이었다가 0.98997073,,,으로 좀 더 좋아졌다고 하셨는데요.. 문돌이인 제가 보기에는 그냥 다 같은 98%로밖에 안보기든요..ㅠ 98.94%든 98.97%든 그게..시험에서 큰 영향이 있는건가요?ㅠ 시험에서 저런 미세한 차이가 작업형 2번 문제를 40점을 받느냐, 0점을 받느냐를 좌우하는건가요? 시험문제 조건에서 'roc-auc 80% 이상일 것'이라고 적혀있으면 98.94%든 98.97%든 모두 40점을 주는게 아닌가요? 즉..98.94%면 35점이고, 98.97%는 40점인건가요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
강의 중 ols함수를 ols('매출액 ~ 광고비 + 유형_A + 유형_C', data=df2).fit() 이런식으로 범주형 변수의 일부 컬럼만 사용해서 회귀모델을 구축할 수 있다고 하셨습니다.그래서 테스트를 해 본 결과 위와 같이 유형_A와 유형_C를 회귀모델의 독립변수로 활용하기 위해서는 df = pd.get_dummies(df, drop_first=True) 이런식으로 다중공선성 방지를 위한 파라미터를 추가하는게 아니라 위 캡처본에서의 df2와 같이 전체 변수가 포함된 데이터프레임을(유형_A, 유형_B, 유형_C 가 전부 포함된 데이터프레임) 사용해야 하는 것을 알았습니다. 근데, 이렇게 df2와 유형_A, 유형_C를 활용한 회귀모델은 유형_B를 감안한 것이 아니라 그냥 유형_B만 갑자기 누락해버린 회귀모델이 아닐지 문의드립니다. import pandas as pd df = pd.DataFrame({ '매출액' : [300, 320, 250, 360, 315, 328, 310, 335, 326, 280, 290, 300, 315, 328, 310, 335, 300, 400, 500, 600] , '광고비': [70, 75, 30, 80, 72, 77, 70, 82, 70, 80, 68, 90, 72, 77, 70, 82, 40, 20, 75, 80] , '플랫폼': [15, 16, 14, 20, 19, 17, 16, 19, 15, 20, 14, 5, 16, 17, 16, 14, 30, 40, 10, 50] , '투자':[100, 0, 200, 0, 10, 0, 5, 0, 20, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0] , '유형':['B','B','C','A','B','B','B','B','B','B' ,'C','B','B','B','B','B','B','A','A','A'] }) df = pd.get_dummies(df, drop_first=True) from statsmodels.formula.api import ols model = ols('매출액 ~ 광고비 + 유형_B + 유형_C', data=df).fit() print(model.summary()) 위에서는 엄연히 유형_A도 감안된 것일텐데 이런 상황에서 유형_A를 회귀모델 독립변수로 쓰지 않은 것과는 (매출액 ~ 광고비 + 유형_B + 유형_C) 다른 결인 것 같아서요!
해결됨
빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
안녕하세요! 강의를 들으면서 데이터와 관련된 기술 스택들을 익히는데 많은 도움을 받고 있습니다. 다름이 아니라 수강 연장 이벤트를 신청하려고 하는데, 구글 설문 링크가 보이지 않아서 이렇게 커뮤니티에 글을 남깁니다. 혹시 이벤트 기간이 종료가 된건지 아니라면 어떻게 신청하면 되는지 궁금합니다. 좋은 강의 만들어주셔서 감사합니다!
해결됨
[2026 신규] 데이터분석 준전문가(ADsP) 자격증
강의자료 2과목을 다운로드 받으면 1과목 파일이 다운받아지는데 확인 좀 부탁드리겠습니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
제공해주신 쥬피터노트북에서 귀무가설의 부등호 방향이 반대인 것 같은데 혹시 맞을까요?
해결됨
빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
안녕하세요 이번에 데이터 엔지니어 직무로 취업을 준비하고 있습니다. 데이터 엔지니어가 되기 위해서 여러 강의들을 찾던중에 빅데이터 파이프라인에 대해서 이렇게 자세히 설명해주는 강의는 처음이였습니다. 남은 강의 잘 듣고 데이터 엔지니어가 되기 위해서 열심히 더 공부하도록 하겠습니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
데이터 전처리시 결측치가 있는 컬럼 삭제하는 경우 삭제의 기준이 있나요?! 영상에서는 기준이 없다고 하셨는데 어떤 기준으로 데이터를 삭제하거나, 결측치를 채우시는건가요?! 질문 결측치 처리시 데이터를 삭제 혹은 채우기를 하는가 그냥 무작위로 해도 무방한지 궁금합니다. 삭제 시 train데이터의 개수와 비슷한 수를 가지고 있는 데이터를 삭제 하시는건가요?! 세션5 작업형2 2번째 문제에서는 결측치가 없는 컬럼(host_id)도 삭제 하셨는데 결측치가 없는 컬럼을 삭제해도 무방한가요? 결측치 삭제, 채우기 시 강사님만의 기준이 있으신가요 ㅜㅜ
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
본 강의 5분정도쯤에 단일표본검정은 양측검정이다라고 하셨던거 같은데, 단일표본검정이 양측검정이라는 말이 좀 이해가 안가는데요. 혹시 말씀하신 의도가 scipy의 단일표본검정 API의 파라미터 디폴트값이 양측검정이고 (즉, alternative = 'two-sided'), 단측검정의 단일표본검정을 하고싶으면 파라미터값을 조정해야한다는 의미가(alternative = 'greater 또는 less' ) 맞으실까요? '단일표본검정 = 양측검정'은 아닐 것 같아서요!
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
T1-11. min-max scaling / #스케일링 #상하위값부터 코드를 입력하는 방식이 달라서 문의 드립니다. 혹시 이전에 있던 1~10번 문제처럼 코드를 작성할 수 있는 방법이 있을까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요! 의미없는 질문일 수 있으나 계속 궁금해서요..! Q1. 코드 입력할 때 띄어쓰기 관계 없나요? text = "안녕하세요 퇴근후딴짓입니다." text="안녕하세요 퇴근후딴짓입니다." 위와같이 = 를 입력할 때 앞뒤로 띄어쓰기를 하지 않아도 결과값이 나오더라구요! Q2. 시험 볼 때는 꼭 띄어쓰기를 해야한다 등의 규칙은 없는거죠? 혹시나하여 불안해서 여쭙습니다. Q3. (해도 되고 안해도 되는데) 띄어쓰기를 하는 이유는 코드를 검수할 때 구분이 잘 될 수있도록 위함일까요? 커리큘럼 초반인 지금도 자꾸 띄어쓰기 없이 쭉 이어쓰게되네요ㅠㅠ 답변 부탁드립니다.
해결됨
빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount input output_notice 의 커맨드 실행하면 아래와 같은 로그가 나오고 더이상 실행되지 않습니다. 23/10/04 20:52:13 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 23/10/04 20:52:14 INFO client.RMProxy: Connecting to ResourceManager at /127.0.0.1:8032 23/10/04 20:52:15 INFO input.FileInputFormat: Total input paths to process : 1 23/10/04 20:52:16 INFO mapreduce.JobSubmitter: number of splits:1 23/10/04 20:52:16 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1696420330687_0001 23/10/04 20:52:16 INFO impl.YarnClientImpl: Submitted application application_1696420330687_0001 23/10/04 20:52:17 INFO mapreduce.Job: The url to track the job: http://218.38.137.27:8088/proxy/application_1696420330687_0001/ 23/10/04 20:52:17 INFO mapreduce.Job: Running job: job_1696420330687_0001 위 상태에서 그대로 멈춰있습니다. jps 결과값은 아래와 같습니다. 80752 NodeManager 80805 RunJar 80996 Jps 68263 NameNode 80663 ResourceManager 15464 68495 SecondaryNameNode 68366 DataNode 혹시 몰라서 리소스매니저(port 8088)의 스크린샷을 첨부하였습니다. 아래는 yarn-site.xml입니다. <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>127.0.0.1</value> </property> 해결할 수 있는 방법을 알 수 있을까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요! 위와같이 Feature Engineering에서 인코딩 후 데이터를 합칠 때 iloc를 활용하셨는데, iloc는 line을 포함하지 않으니 한 행의 오차 없이, 제대로 train/test 데이터셋을 분리하려면 line+1을 해줘야 하는 게 아닌지 문의드립니다!
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
train값과 test값 unique값이 다를 경우에는 어떻게 하면 되나요? 저번 수업영상에서 두개를 합친 다음에 인코딩을 진행한다고 하셨던거 같은데 다시 한번 질문드립니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
7월에 떨어지고 12월 빅분기 실기 시험 땜에 다시 왔습니다 ㅠㅠ 이번에는 합격할 수 있도록 노력하겠습니다 ㅠㅠ
