안녕하세요! 강의를 들으면서 데이터와 관련된 기술 스택들을 익히는데 많은 도움을 받고 있습니다. 다름이 아니라 수강 연장 이벤트를 신청하려고 하는데, 구글 설문 링크가 보이지 않아서 이렇게 커뮤니티에 글을 남깁니다. 혹시 이벤트 기간이 종료가 된건지 아니라면 어떻게 신청하면 되는지 궁금합니다. 좋은 강의 만들어주셔서 감사합니다!
안녕하세요 이번에 데이터 엔지니어 직무로 취업을 준비하고 있습니다. 데이터 엔지니어가 되기 위해서 여러 강의들을 찾던중에 빅데이터 파이프라인에 대해서 이렇게 자세히 설명해주는 강의는 처음이였습니다. 남은 강의 잘 듣고 데이터 엔지니어가 되기 위해서 열심히 더 공부하도록 하겠습니다.
데이터 전처리시 결측치가 있는 컬럼 삭제하는 경우 삭제의 기준이 있나요?! 영상에서는 기준이 없다고 하셨는데 어떤 기준으로 데이터를 삭제하거나, 결측치를 채우시는건가요?! 질문 결측치 처리시 데이터를 삭제 혹은 채우기를 하는가 그냥 무작위로 해도 무방한지 궁금합니다. 삭제 시 train데이터의 개수와 비슷한 수를 가지고 있는 데이터를 삭제 하시는건가요?! 세션5 작업형2 2번째 문제에서는 결측치가 없는 컬럼(host_id)도 삭제 하셨는데 결측치가 없는 컬럼을 삭제해도 무방한가요? 결측치 삭제, 채우기 시 강사님만의 기준이 있으신가요 ㅜㅜ
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요! 의미없는 질문일 수 있으나 계속 궁금해서요..! Q1. 코드 입력할 때 띄어쓰기 관계 없나요? text = "안녕하세요 퇴근후딴짓입니다." text="안녕하세요 퇴근후딴짓입니다." 위와같이 = 를 입력할 때 앞뒤로 띄어쓰기를 하지 않아도 결과값이 나오더라구요! Q2. 시험 볼 때는 꼭 띄어쓰기를 해야한다 등의 규칙은 없는거죠? 혹시나하여 불안해서 여쭙습니다. Q3. (해도 되고 안해도 되는데) 띄어쓰기를 하는 이유는 코드를 검수할 때 구분이 잘 될 수있도록 위함일까요? 커리큘럼 초반인 지금도 자꾸 띄어쓰기 없이 쭉 이어쓰게되네요ㅠㅠ 답변 부탁드립니다.
./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount input output_notice 의 커맨드 실행하면 아래와 같은 로그가 나오고 더이상 실행되지 않습니다. 23/10/04 20:52:13 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 23/10/04 20:52:14 INFO client.RMProxy: Connecting to ResourceManager at /127.0.0.1:8032 23/10/04 20:52:15 INFO input.FileInputFormat: Total input paths to process : 1 23/10/04 20:52:16 INFO mapreduce.JobSubmitter: number of splits:1 23/10/04 20:52:16 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1696420330687_0001 23/10/04 20:52:16 INFO impl.YarnClientImpl: Submitted application application_1696420330687_0001 23/10/04 20:52:17 INFO mapreduce.Job: The url to track the job: http://218.38.137.27:8088/proxy/application_1696420330687_0001/ 23/10/04 20:52:17 INFO mapreduce.Job: Running job: job_1696420330687_0001 위 상태에서 그대로 멈춰있습니다. jps 결과값은 아래와 같습니다. 80752 NodeManager 80805 RunJar 80996 Jps 68263 NameNode 80663 ResourceManager 15464 68495 SecondaryNameNode 68366 DataNode 혹시 몰라서 리소스매니저(port 8088)의 스크린샷을 첨부하였습니다. 아래는 yarn-site.xml입니다. <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>127.0.0.1</value> </property> 해결할 수 있는 방법을 알 수 있을까요?
안녕하세요! 위와같이 Feature Engineering에서 인코딩 후 데이터를 합칠 때 iloc를 활용하셨는데, iloc는 line을 포함하지 않으니 한 행의 오차 없이, 제대로 train/test 데이터셋을 분리하려면 line+1을 해줘야 하는 게 아닌지 문의드립니다!
안녕하세요! m1 맥북으로 실습을 하려고 합니다. 커뮤니티에 전부 window 관련 질문들만 있어 질문드려요 ! 맥북 사용시에 권장하는 환경 설정 방법을 알려주실수 있을까요? 다른분 질문에 답변으로 docker는 권장하지 않는다고 하셔서 UTM으로 우분투를 설치해보려고 했는데 에러가 계속 발생해서 어려움에 겪고 있습니다 ㅜ (virtual box 는 m1 맥에서 지원이 안되는 상황이구요..)
3-61~63 추론-문제8 문제8번에서 그룹1과 그룹2의 평균이 각각 0.75, 2.33이라는 것이 아닌가요? 만약 그러하다면, 위 내용에 대한 것은 고려하지 않고 바로 두 집단의 평균이 동일하다는 귀무가설을 채택할 수 있다고 볼 수 있는 것인지, 왜 그러한지 궁금합니다 제가 위 이미지의 내용을 받아들인 방법이 잘못된 것이라면, 위 이미지의 내용을 어떻게 해석해야하는지 궁금합니다.
안녕하세요 수강생입니다. 강의듣다가 질문이 있어 이렇게 글남깁니다. 섹션4 - 모의고사1 - 3번 문제의 replace를 활용하거나 map을 활용하는 부분입니다. 저는 .replace.replace.replace를 반복하지 않고 아래와 같이 곧바로 딕셔너리 형태로 코드를 치니 마치 map에 딕셔너리를 리스트로 담은 것처럼 동작을 하던데 올바른 방법인지 모르겠습니다. 막상 답이 133으로 동일하게 나오다보니 replace나 map의 차이점 또는 딕셔너리의 올바른 활용(?) 부분 이 궁금해지네요. import pandas as pd df = pd.read_csv('members.csv') df = df.dropna(subset=['views']) # print(df.isnull().sum()) df['f3'] = df['f3'].fillna(0) df['f3'] = df['f3'].replace({'silver':1, 'gold':2, 'vip':3}) # print(df.head()) print(int(df['f3'].sum()))
Standalone 환경을 처음 세팅하게 되면 dags 디렉토리가 별도로 없는데 사용자가 직접 만들어주면 되는지 질문드립니다. 그리고 standalone 으로 airflow 서버를 작동시킨 이후 다시 exit 할 경우 자꾸 localhost 에 서버가 남아있어 재 실행이 안되서 컴퓨터 리붓을 해야하는데 혹시 다른 방법이 있을까요? 아래와 같은 방식으로 PID 서버를 kill 하지만 그래도 안될 경우가 많은 것 같습니다. (수정) 아래 방법은 작동하는 것 같네요 ps -ef | grep airflow sudo kill -9 [PID port]
안녕하세요~ 지난 6회 실기 떨어지고.. ㅜㅜ 이번에 7회 재도전하는 수험생입니다~ 여러 유튜브 강의를 들어보았으나 퇴근후딴짓님 강의가 제일 저랑 잘맞는것 같아서 인프런에서 수강하고 있습니다. 강의를 계속 듣다 보니 추가적으로 업데이트 되는 강의도 많고 섹션 17(3유형)은 곧 삭제 예정이라고 하는데 섹션17은 꼭 볼 필요는 없는건가요? 아직 초반 듣고 있어서요.. 다음은 공부 방향에 대한 질문입니다.. 지난 6회는 3유형이 신설되었고 비전공자 직장인이라 충분한 연습을 못하고 갔습니다. 1유형은 하필 datetime 변환 문제가 시험장에서 기억이 안나서 2문제 날려버렸고.. 2유형은 베이스라인 외워서 전처리부터 모델링까지 다했음에도 10점 나오더군요.. ㅠㅠ 3유형은 유튜브에 여러 무료 강의와 데이터진흥원의 샘플 문제를 여러 차례 연습했음에도 달랑 1문제 맞은 것 같아요.. 많은 좌절감을 느끼며 이번에는 최대한 잘 준비해서 꼭 합격하고 싶습니다. 이번 퇴근후딴짓 커리큘럼만 잘 이해하고 숙지하면 충분할까요? 긍정의 에너지와 격려 말씀부탁드립니다~
데이터 전처리시 범주형(object)이면 라벨 or 원핫 인코딩 수치형(int or float) 이면 민맥스스켈러 or z스켈러 인데 타겟값이 범주형인가 수치형인가에 따라 전처리 방법을 다르게 하는건가요 아니면 타겟값과 상관 없이 문자형, 수치형 둘다 해보는건지 또는 문자형 or 수치형 중에 아무거나 해도 상관없는건지 궁금합니다! 또 어떠한 경우에 라벨, 원핫, 민맥스스켈러, z스켈러를 사용하는지도 궁금합니다! ex) 작업형2번 모의문제 1번에서는 타겟 값이 수치형 이지만 전처리시 민맥스스켈러 혹은 z스켈러를 이용하지 않고 문자형컬럼을 제거하거나 라벨, 원한 인코딩을 한 이유가 있을까요? 타겟값이 범주형이기 때문에 그런건가요..ㅠㅠ 파이썬이 처음이라 개념이 잘 안잡혀 있어서 헷갈리네요 ㅜㅜ