묻고 답해요
160만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
display
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요먼저 유사한 질문이 있었는지 검색해보세요안녕하세요 선생님.시험 환경에서는 display가 활성되진 않나요?코랩에서만 되는걸까요.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
시험시 데이터 읽는법
시험에서 아래와 같은 데이터 불러오는 코드도 필요한가요?from google colab import filesupload =files.upload()df=pd.read_csv("members.csv")
-
해결됨15일간의 빅데이터 파일럿 프로젝트
클러스터 설정 오류
안녕하세요 선생님 클러스터 설정 시 오류가 발생하여 질문 드립니다. ㅜㅜ 다른 질문 글들을 참고하여Cluster 1 삭제 후 재설치도 해보았고,putty로 접속하여 rm -rf /dfs/nn 명령어로 디렉토리 삭제 후 cluster 재설치도 해보았는데계속 오류가 발생합니다. 원인과 해결 방법이 있을지 문의 드립니다.. * stderr로그 일부Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory /tmp. Name node is in safe mode. The reported blocks 0 has reached the threshold 0.9990 of total blocks 0. The number of live datanodes 0 needs an additional 1 live datanodes to reach the minimum number 1. Safe mode will be turned off automatically once the thresholds have been reached. NamenodeHostName:server01.hadoop.com at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.newSafemodeException(FSNamesystem.java:1448) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkNameNodeSafeMode(FSNamesystem.java:1435) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:3100) at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:1123) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:696) at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java) at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:523) at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:991) at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:869) at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:815) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875) at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2675) at org.apache.hadoop.ipc.Client.getRpcResponse(Client.java:1499) at org.apache.hadoop.ipc.Client.call(Client.java:1445) at org.apache.hadoop.ipc.Client.call(Client.java:1355) at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:228) at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:116) at com.sun.proxy.$Proxy9.mkdirs(Unknown Source) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.mkdirs(ClientNamenodeProtocolTranslatorPB.java:640) at sun.reflect.GeneratedMethodAccessor8.invoke(Unknown Source) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:422) at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeMethod(RetryInvocationHandler.java:165) at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invoke(RetryInvocationHandler.java:157) at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeOnce(RetryInvocationHandler.java:95) at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:359) at com.sun.proxy.$Proxy10.mkdirs(Unknown Source) at org.apache.hadoop.hdfs.DFSClient.primitiveMkdir(DFSClient.java:2339) ... 18 more
-
미해결베개 투자법: 자면서 돈 버는 AI 주식 자동 매매 머신
fastapi를 이용한 뼈대 프로그램 소스 제공 가능 여부 문의드립니다. (6강_Python FastApi 기본)
6강에서 Cursor의 AI를 이용해서 프로그램의 뼈대를 만드는 부분에서 강사님과 같은 프롬프트를 써도 미묘하게 폴더 구조가 강사님과 다르게 작성이 됩니다. 프롬프트가 같다면 무조건 결과가 같은건지 아니면 다를 수도 있는지.. 가능하다면 강의에서 구성한 뼈대 부분을 파일로 제공해 주실 수 있는지 문의드립니다. (전부 화면을 보고 다 따라치려고 해도 강의 화면만 보고는 그것도 무리인거 같습니다.) 기왕이면 이후의 남은 강의들에도 소스 코드를 제공해 주시면 좋을 것 같습니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
정지 가능 여부 문의드립니다
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요먼저 유사한 질문이 있었는지 검색해보세요안녕하세요? 담당자님.해외 주재중인 수강생입니다.11회 필기 붙고 바로 실기치려고 했는데사정상 11회 실기 시험날 입국을 못할 것 같아내년 상하반기에 다시 트라이해야할 것 같습니다혹시 3개월만이라도 정지가 가능한지 여쭙습니다. 감사합니다.주재원 증명할 수 있는 노동비자 혹은 출입국 확인서 제출 가능합니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
[교재] 질문입니다.
인강과 교재를 구매해서 듣고 있습니다.교재에 Chapter3 작업형1 연습문제(p164)를 풀고 싶은데, 파일들을 어디서 받을수 있을까요?type1_data1.csv를 읽을수가 없어서 1번부터 못풀고 있습니다 ㅠㅠ
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
[작업형1] 모의문제1의 문제2질문
문제2를 풀다가 보니,초기 데이터프레임 상태에서 1. 주어진 데이터에서 결측치가 30%이상 되는 컬럼을 찾고 해당 컬럼에 결측치가 있는 데이터(행)을 삭제함.--> 1 번 문제를 처리하고나면, 전체적인 결측치 상태가 달라집니다. 2. 그리고 30% 미만, 20%이상인 결측치가 있는 컬럼은 최빈값으로 대체하고1번 처리하고 난 후 2번 문제에 해당하는 조건의 컬럼은 없게 되는데, 이런 경우 1번 처리된 결과가 아닌 초기 데이터프레임 상태에 대해 문제를 풀어야 하는거죠?선생님 풀이도 초기 상태를 고려하여 풀이된 것 같습니다. 시험에서도 이렇게 하면 되는거죠?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
데이터 추가 방식 (loc 유무)
[색션3. 작업형1 판다스]의 Section9. 데이터 추가/변경에서행을 추가할 때는 df .loc[...] 이용해서 하는데Section5. 새로운 컬럼(열) 추가에서는그냥 df ['new'] = .... 로 추가를 하더라구요.이 둘의 차이가 있을까요? 제가 이해한 것은열을 추가할 때는 df ['new'] = 또는 df.loc[ , 'new'] =행을 추가할 때는 df.loc['new'] = 이렇게 쓸 수 있고loc를 사용하면 각각의 데이터를 넣을 수 있지만, 사용하지 않는 경우(Section5)는 일괄적으로 같은 값이 들어간다..인데맞는지 궁금합니다!
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
sklearn에서 rmse,rmsle,mape 지원안되나요?
[작업형2 모의문제2 16:18]sklearn에서 rmse,rmsle,mape 지원안되나요?현재 import 해보면 정상적으로 되던데 강의에서 지원안된다고 하신 부분이 구버전에서는 지원이 안되었던건지 궁금합니다!만약 시험에서 나오면 직접 구현안하고 import해서 사용해도 되는건가요?from sklearn.metrics import f1_score, mean_absolute_error, mean_squared_error, root_mean_squared_error, root_mean_squared_log_error, mean_absolute_percentage_error
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
10회 기출문제 관련 질문
지금 교제에 없는 10회 기출문제 강의 올라오면 프린터 출력이 가능할까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
검증데이터 분리 문의
작업형2 모의문제1 10:47초 구간random_stae=2022에서2022로 설정하는 이유가 무엇인가요?
-
미해결[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
members.csv 파일 올리기
작업형1 모의문제1 강의 수강하려고 합니다. 코랩 파일에 members.csv 어떻게 저장하는 건가요?
-
미해결베개 투자법: 자면서 돈 버는 AI 주식 자동 매매 머신
[베개투자법 :자면서 돈버는 AI주식 자동매매머신] 종목을 100개까지 추가 하고자 합니다.
안녕하세요. 강의 잘 들었습니다. 프로그램도 잘 작동합니다. 단지 종목수가 적어 종목을 100개까지 추가하고자 합니다. 어느 부분을 수정해야하는지 문의 드립니다.
-
미해결베개 투자법: 자면서 돈 버는 AI 주식 자동 매매 머신
[베개투자법 :자면서 돈버는 AI주식 자동매매머신] 종목 변경시 코드 수정 부문을 알려주세요
안녕하세요. 주식 종목을 변경하고 싶은데 변경해야할 코드 부분을 알려주세요.
-
해결됨실리콘밸리 엔지니어에게 배우는 파이썬 아파치 스파크
CDC 기반 스파크 아키텍처 구현 방법이 궁금합니다.
현재 RDS에 저장된 데이터를 AWS DMS를 활용해 Parquet 포맷으로 변환하여 S3에 저장한 뒤, EMR(Apache Spark)에서 해당 데이터를 분석/처리하는 구조를 고려하고 있습니다.이 방식이 일반적인 데이터 파이프라인 아키텍처로 적절한지 궁금합니다.또한 RDS에서 지속적으로 발생하는 변경 데이터를 CDC(Change Data Capture) 기반으로 S3에 업데이트하려고 하는데, 이 역시 DMS를 활용하는 것이 최선인지 아니면 다른 접근 방안이 더 적절한지도 조언 부탁드립니다.
-
미해결업무에 바로 써먹는 데이터 마인드(데이터 리터러시) 향상 방법
데이터분석 실습관련
안녕하세요. 텍스트 데이터 분석 실습 부분 수강중입니다. 해당 예시데이터를 받을 수 있는지 문의드립니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
melt 함수
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요먼저 유사한 질문이 있었는지 검색해보세요melt함수에서 이렇게 계속 오류가 발생합니다. 어떻게 조치해야할까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
기초통계(문자) 코드 오류 발생 건
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요먼저 유사한 질문이 있었는지 검색해보세요기초통계(문자) 코드를 작성했는데, 계속 오류가 뜹니다. 왜 오류가 뜨나요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
강의 18~20 문제 엑셀 깨짐
강의 18~20 문제 다운로드하면 도시 다 깨져서 나옵니다 ~
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
캐글 문제 질문..
안녕하세요 캐글에 있는 타이타닉 문제풀이를 보면훈련데이터를 훈련/검증으로 나누지 않고훈련데이터 전부를 가지고 랜덤포레스트 학습을 시킨후에,또 훈련데이터를 가지고 model.score를 평가하는데 훈련/검증안나누고 이렇게 해도되나요? 어떤풀이는 나누고 어떤풀이는 안나누니까 조금 혼동이 됩니다.