묻고 답해요
169만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결파이썬을 활용한 머신러닝 딥러닝 입문
MAtplotlib 기초
OOP style 부분에서 자꾸 name 'fig' is not defined라고 오류가 나는데 어떻게 해결하나요..?
-
해결됨실리콘밸리 엔지니어에게 배우는 파이썬 아파치 스파크
cdc 기반의 스트리밍 데이터 처리
안녕하세요. 강의 잘듣고 있는 도중에 질문이 있어 글을 작성하게 되었습니다. 현재 cdc 기반으로 iceberg 테이블에 operation(insert, update, delete) 정보들을 적용해서 데이터를 적재하고 있습니다. 이부분까지는 DMS -> kinesis -> lambda-> firehose -> iceberg 순서로 문제없이 적재를 진행하고 있지만 이런형식으로 운영중인 iceberg 테이블 10개를 join 시켜 datamart에 현재는 1주일에 한번씩 전체를 삭제 후 insert하는 비효율 적인 방식으로 마트를 운영중에 있습니다. 이것을 개선시키기 위해 적재중인 iceberg 테이블들에 변경된 데이터들을 5분 10분 단위로 종합해 datamart 테이블에 변경 분에 한해서만 insert, update, delete를 반영해주고자 하는데 강의를 듣다보니 spark streaming을 활용해서 뭔가 해결을 할 수 있을것 같은데 혹시 이부분에 대한 아이디어에 대해서 조언을 구할 수 있을까요? 10개의 테이블에 대해서 10분간 발생한 변경 점들을 종합해 datamart에 반영을 해주려고 하는데 아직 제대로 감이 잡히지 않아서 질문드렸습니다.
-
해결됨실리콘밸리 엔지니어에게 배우는 파이썬 아파치 스파크
broadcast 코드 예시 관련 질문
안녕하세요.broadcast 예제코드에서는 이미 aggregation된 dataframe(코드에서 interviwer_count)에 대해서 udf 실행을 위해서 meta 딕셔너리를 broadcast한 다음에 udf를 실행하는 것으로 이해하였는데요.실제 운영하는 상황에서는 이런 경우에는 이미 aggregation이 된 dataframe이 먼저 만들어질 것이기 때문에 meta 딕셔너리를 dataframe으로 만든 후 join하는 것과 큰 차이가 없지 않나요?해당 코드에서 broadcast를 함으로써 다른 방법(join 등)에 비해 얻는 이점이 어떤 건지 궁금합니다.
-
미해결파이썬으로 시작하는 머신러닝+딥러닝(sklearn을 이용한 머신러닝부터 TensorFlow, Keras를 이용한 딥러닝 개발까지)
안내해주신 어떤 곳에도 보스턴 집값 예측 csv파일을 찾을 수 없습니다.
안내해주신 어떤 곳에도 보스턴 집값 예측 csv파일을 찾을 수 없습니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
corr()이 작동하지 않는 문제
안녕하세요. 먼저 좋은 강의 감사드립니다.저는 이번 9회 시험에서 1유형 30점, 2유형 40점, 3유형 20점 총 90점으로 합격했습니다. 퇴근후딴짓 선생님의 좋은 강의 덕분이라고 생각합니다. 다만 시험 중에 이상한 일이 있었습니다.이번 3유형에 상관계수를 구하는 문제가 있었는데요, 제가 시험장에서 corr() 메서드를 사용했을 때 작동하지 않았습니다.자료형이 틀렸거나 옵션 문제 등의 오류가 아니라, 확실히 not defined로 기억합니다. corr() 메서드 호출 자체가 불가능했습니다. 몹시 당황해서 이런저런 라이브러리를 불러도 보고, dir, help 등도 시도해봤지만 호출 자체가 안 되니 할 수 있는 방법이 없더라고요.마지막으로 통계학 지식을 동원해 수작업 계산을 시도했지만, 결국 시간 부족으로 corr()이 필요했던 두 문제를(각 5점) 틀리게 되었습니다. 혹시 이런 문제가 발생하는 경우에 대해 아시는 바가 있을까요?합격과는 별개로 너무 궁금하고 답답해서 문의를 드립니다.
-
미해결[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
합격 소식과 함께 궁금한 점 문의드립니다.
선생님 안녕하세요. 우선 오늘 최종 합격하여 소식을 전하게 되었습니다.다만, 다름이 아니라 점수가 좀 턱걸이인지라.. 담주에 예정된 최종 결과에서 합격예정이 불합격으로 바뀌는 사례가 있는지 궁금합니다. 제가 알기로는 불합격 사례에서 합격 한 사례는 있는 것으로 아는데 반대 사례가 있는지요??우선 정말 감사드립니다. 큰 도움이 되었습니다.
-
미해결[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
수강 연장 문의
선생님 안녕하세요!이번 9회 시험을 55점으로 떨어지게 되어서.. 내년 6월에 있는 10회 시험을 응시하려고 합니다 ㅠㅠ그런데 만료 기간이 내년 5월까지라, 한 달 정도 강의를 일시정지하거나 다음 회차 시험 때까지 강의를 연장할 수 있을까요?
-
미해결[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
강사님 감사드립니다.
금일 빅분기 실기 가체점 결과가 올라와서 확인했는데...합격했습니다. 1교시가 너무 어렵게 나와서 힘들었었는데...강사님이 시험전에 2교시->3교시->1교시 순으로 준비를 하라는 글을 보고 많이 도움이 됐습니다. 덕분에 2차시험 2번째에 합격해서 감사드립니다. 회사일 때문에 강사님이 올려주신강의와 모의고사 풀이를 4번이상 반복해서 풀어본거, 마이드 맵을 기반으로 리마인드 해본 것이 많이 도움 됐습니다. 감사합니다.~~
-
미해결실리콘밸리 엔지니어에게 배우는 파이썬 아파치 스파크
재생에 문제가 생겼어요 라는 메세지가 자꾸 뜨네요
질문은 많으시면 많을수록 좋습니다. 가능한 빠른 답변 드리겠습니다.원활한 답변을 위해, 자세한 질문 사항 부탁드려요 :D
-
미해결[개정판] 파이썬 머신러닝 완벽 가이드
Softmax 관련 질문입니다.
안녕하세요. 선생님의 강의로 머신러닝 및 딥러닝에 관심을 갖게 되었습니다.다름이 아니고, CIFAR100 dataset에 대해서 VGGNet이라는 모델을 이용해 훈련을 시켜보고 있는데,제가 궁금한 것은 Softmax의 Input의 정밀도를 어디까지 유지하면 모델이 잘 학습될 수 있을까?입니다. 아래의 코드는 training부분입니다. 첫 번째 사진처럼 모델을 훈련시키는데, model(images)를 통해 나온 실제 output을 이용하면 모델이 잘 학습이 되는데 (마지막 epoch의 validation accuracy 55, Top-5 Test Accuracy 80%정도), 이 output을 rounding을 하면 소숫점 아래 20째자리까지 반올림을 해서 높은 정밀도를 유지해도 모델 학습이 아예 되지 않는 (모든 epoch가 끝나도 Validation Accuracy가 1%남짓) 문제가 발생합니다. 이러한 문제가 왜 발생하는지, 어떻게 하면 해결할 수 있을지또 제가 궁금한 Softmax layer에서 요구하는 최소 Input 정밀도에 대해 다른 방법으로 측정할 수 있을지 궁금합니다 ㅠㅠ감사합니다
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
5-2type2.ipynb 질문 (작업형2 모의문제2)
강의 에서 예측진행시 선형회귀 랏소 릿지의 경우model= 하고 뒤에 해당 모델을 작성했는데18분 22초 랜덤포레스트의 경우 regressor =RandomForestRegressor()로 정의해 놓고밑에 학습은 model.fit으로 하고 pred도 model.fit으로 했는데 그럼 위에 있는 라쏘를 가지고 모델링을 한게 아닌가 궁금합니다.※요약 1: 랜덤포레스트에는 모델로 안하고 왜 regressor = 으로해서 진행했는가,요약2: model.fit으로 진행했는데, import를 랜덤포레스트로 했음에도 , 랜덤포레스트가 아닌 위에 model을 정의한 라쏘로 학습이 된것 아닌가이렇게 궁금합니다!!
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
2유형 test_size 질문드립니다
안녕하세요 저번 달에 실기시험 보고 온 수강생입니다. 평소에는 train_test_split에서 test_size를 0.2로 했는데시험장에서 무슨 바람이 분 건지 test_size를 0.1로 하고 왔습니다.이것 때문에 점수가 10점이 깎일 수도 있을까요?이외에는 랜덤포레스트 분류 모델 정석 코드 그대로 실행, 제출하고 왔습니다.2유형만 40점 나오면 넉넉하게 합격일 것 같은데 괜히 불안해지네요..
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
필기 과정을 다시 준비해야합니다..ㅠㅠ
직장을 다니면서 자격증 시험을 준비했는데, 하필 실기 시험날 타 지역 출장이 있어 응시를 하지 못했습니다..ㅠㅠ 일 하면서 틈틈히 강의 듣고 했는데 너무 아쉽네요 ㅎ 지금 필기 유효기간도 만료되어서 내년에 다시 준비를 해야하는데, 실기 강의가 내년 5월 만료더라구요 . 혹시 필기 대비하는 강좌나 25년 대비 강좌를 계획중이신게 있으실까요? 있다면 패키지로 묶어서 구매하고 싶은데, 기존 수강생 할인이나 쿠폰같은게 있으면 좋을 것 같아서요 .(양심이 없어 죄송합니다ㅠㅠ) 그리고 필기 공부하면서 실기를 같이 병행(실기강좌중 개념을 다루는 부분)하는게 좋은지도 궁금합니다!
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
아나콘다 설치 실패
안녕하세요. 시험결과를 기다리는 동안 아나콘다를 사용해서 추가적으로 파이썬을 연습해 볼까 하고 있습니다만, 아나콘다 설치 실패가 나와서 혹시 이부분도 도움을 받을 수 있을까 하여 글을 남겨 봅니다.추가적으로 말씀드리자면 사용자 파일에 있는 anaconda3파일을 휴지통에 넣었는데도 같은 에러가 발생하고 있습니다. 그리고 터미널을 통해서 rmdir을 통해서 파일을 지우려고 시도해봤는데도 잘 되지 않습니다. 저는 파이썬과 터미널 완전 입문자 입니다. 이것저것 해봐도 안되서 도움을 요청드립니다. (저는 mac유저 입니다) 요
-
해결됨딥러닝 CNN 완벽 가이드 - TFKeras 버전
강의 관련 질문입니다
안녕하세요 강사님 강의 잘듣고있습니다 fast api 강의 관련으로 질문드리고 싶어 질문남깁니다 현재 대학교 재학하면서 특정 기능을 수행하는 딥러닝 모델을 만든 후에 이를 배포해 웹에서 사용하는 프로젝트를 수행하려하는 중 강사님께서 fast api와 함께 웹 개발을 전체적으로 다루시는 강의를 출시한 것을 확인했습니다 제가 하려는 프로젝트의 방향과 fast api 강의의 내용이 부합할지 여쭙고 싶어 구매한 다른 강의에 실례를 무릅쓰고 이렇게 질문 드립니다 읽어주셔서 감사합니다
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
시나공 9회 기출 추가 버전 예상 출시일
안녕하세요,,이번에는 영상 강의만 들으며 준비하였으나 아무래도 시험에 합격하지 못할 것 같아 다음 시험에는 책도 보면서 준비를 해야 할 것 같아 미리 질문드립니다.8회 기출 추가된 버전은 9월에 출간하셨는데 시나공 9회 기출 추가 버전 예상 출시일은 언제 정도일까요...? 생각해둔 예상일이 있으실까요...?
-
미해결모두의 한국어 텍스트 분석과 자연어처리 with 파이썬
모두의 한국어 텍스트 분석과 자연어처리 with 파이썬 -> 섹션 3 부터 재생이 안됩니다.
안녕하세요.모두의 한국어 텍스트 분석과 자연어처리 with 파이썬위 과정을 수강중에 있는데요.. 섹션 3부터 재생이 안됩니다..
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
9회 빅분기 3-1
설명변수 포함이라는 말 때문에 p-value 구하고 2개 + 상수항 포함으로 3을 적었네요..문제에 상수항은 빼라는 말이 있었나요...?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
2유형 shape
2유형 shape을 처음만 확인하고 (스케일러&원핫진행) 코드 수정하는 과정에서 shape 을 확인안했네요 (스케일링 진행x 라벨인코딩/겟더미 둘중 하나) x_test로 데이터 넣은건 확실히 기억나는데 결과수에 영향없겠죠ㅠㅠㅠ?질문 보다보니까 train과 test 합쳐서 겟더미 하는것과 따로하는게 결과가 달라질수있다는 글 보고 급 무서워져서요ㅠㅠ 저는 시험에서 train과 test 따로했고 train중에서도 object형 변슈만 따로뽑아서 인코딩했습니다ㅠ!
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
9회 실기 2유형 파일 제출
아래 질문 올리신 분 보고 저도 혹시나 해서 질문드립니다.저도 csv 파일 제출 후 확인해보려고 마지막에 아래와 같은 코드를 실행해봤는데요result = pd.read_csv('result.csv')print(result)실행 후 다시 제출을 했는지 안했는지는 잘 모르겠습니다만일 제출을 했다면 저도 점수는 아예 날라갔다고 보면 되는 건가요?