173만명의 커뮤니티!! 함께 토론해봐요.
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요. 열강해주셨던 강의 들으며 공부하다 질문이 있어 글 남깁니다. 스파크에 대한 설명에서 '그리고 이 리듀스가 네트워크를 타고 들어온 로컬에 떨어진 앞에 리듀스의 결과를 다시 또 로컬로 떨어뜨린다'는 설명이 있었는데, 이 설명이 어떤 경우가 있는지 감이 잘 안와서 질문드립니다. 리듀스가 네트워크를 타고 들어온다는 것이 어떤 상황을 말하는건가요..? 감사합니다.
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요. 개발 환경 구성에서 자바를 설치하는 부분에 궁금한 점이 있어 글을 남깁니다. 제가 이미 JDK 17이 설치되어 있는데, 혹시 다시 1.8을 설치해야 하나요? 만약 해야 한다면, 충돌하는 문제는 없을까요? 답변 부탁드립니다. 감사합니다 :)
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요 강사님. 4.탐색 파일럿 실행 2단계 - 03.휴(Hue) 구성 강좌를 실습 중인데, 아래와 같이 yum install centos-release-scl 커맨드와 yum install scl-utils 커맨드는 모두 정상 수행하였으나 이후 yum install python27 커맨드에서 에러가 발생하여 질문드립니다. 에러 메세지로는 패키지가 없다고 뜨는데, 이전 커맨드에서도 mirrorlist 문제가 발생하여서 다른 질문과 답변에 남겨주신 아래 mirrorlist로 갱신을 하였습니다. centos EOS 이슈인 듯 한데.. 혹시 추가로 더 수행해야할 작업이 있을까요? $ echo " http://vault.centos.org/6.10/os/x86_64/ " > /var/cache/yum/x86_64/6/base/mirrorlist.txt $ echo " http://vault.centos.org/6.10/extras/x86_64/ " > /var/cache/yum/x86_64/6/extras/mirrorlist.txt $ echo " http://vault.centos.org/6.10/updates/x86_64/ " > /var/cache/yum/x86_64/6/updates/mirrorlist.txt $ echo " http://vault.centos.org/6.10/sclo/x86_64/rh " > /var/cache/yum/x86_64/6/centos-sclo-rh/mirrorlist.txt $ echo " http://vault.centos.org/6.10/sclo/x86_64/sclo " > /var/cache/yum/x86_64/6/centos-sclo-sclo/mirrorlist.txt
미해결
빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
yahoo finance data 는 " Gold subscription" 부터 가능하다고 합니다. 샘플 자료 공유 해주세요.
미해결
15일간의 빅데이터 파일럿 프로젝트
이 화면이 나오지 않고 지나갑니다. 데이터베이스 따로 설정해야하나요??
미해결
모두의 한국어 텍스트 분석과 자연어처리 with 파이썬
안녕하세요 강사님, 수업자료를 다운로드하려고 하는데 이론 슬라이드 다운로드 링크 연결이 안됩니다. bitly 시스템에서 블락되었다고 뜨는데 확인부탁드려요.
해결됨
[2026 신규] 데이터분석 준전문가(ADsP) 자격증
이전 강의(확률 기본 용어)와 내용이 같습니다....... 인프런의 다른 강의들은 안그런데, 이 강좌는 유난히도 교재 및 강의영상 관련 문의가 많네요. 한 번에 쭉 점검 한 번 해주시는게 어떨까요....... 순서대로 들어야 하는데, 질의 남기고 기다렸다가 자료나 동영상 다른데서 봐야하고. 강의 수강일수도 정해져 있는 강의인데, 흐름이 엄청 끊깁니다.
해결됨
실리콘밸리 엔지니어에게 배우는 파이썬 아파치 스파크
강의 후반부에 나온 lecture25에 대한 코드가 강의 자료에 없는 것 같습니다. 혹시 있다면 어디서 받을 수 있나요?
해결됨
[2026 신규] 데이터분석 준전문가(ADsP) 자격증
[S3] 057-08. 분포 통계량 - 첨도(Kurtosis) [S3] 057-09. 분포 통계량 - 왜도/비대칭도(Skewness) 가 교재에 없습니다. 그리고 [S3] 057 Quiz 강의는 어디에 있나요? 강의 계속 듣다보니 교재에 [S3] 058-05. 도 없는데,,,,, 자료 업데이트가 안된건가요?
해결됨
빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
안녕하세요. 섹션2 실습 진행 중 가상환경 설치 부분부터 막히고 있어 문의드립니다ㅠㅠ 다른 질문들 찾아보고 virtualbox 우분투 환경에서 진행 중입니다. python3 설치 방법, pip 설치 방법을 따로 안내해주시지 않아서 구글링 해서 진행했는데, 자꾸 오류가 나네요. 우분투 버전이 24.04.01 입니다. 버전 차이에서 오는 오류일까요? 오류 내용을 보고 구글링해봐도 해결이 어려워 도움 요청합니다ㅠㅠ
해결됨
[2026 신규] 데이터분석 준전문가(ADsP) 자격증
데이터마스킹도 잡음 추가가 있고, 잡음 첨가도 잡음을 추가한다는 설명이 있는데, 어떻게 다른건가요? 잡음 첨가 기법은 예시가 없어서 더 차이가 구분이 안되는 것 같습니다.
해결됨
[2026 신규] 데이터분석 준전문가(ADsP) 자격증
분야별 기업 내부 데이터베이스 솔루션 Quiz 13:41 교재에서는 insight, optimization, forecast가 BA(Business Analytics)의 키워드라고 했는데, 이 문제에서는 해당 키워드가 빅데이터 분석 관련 키워드라고 합니다. 그렇다면 BA(Business Analytics)가 빅데이터 분석을 의미하거나 포함하나요?
미해결
15일간의 빅데이터 파일럿 프로젝트
아직 수업 듣기전인데 이 프로젝트에 프론트도 포함되어 있나요? 결과물을 화면과 연계해서 보고 싶습니다
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요, 강사님 강의를 들으며 꾸준히 배우고 성장하고 싶었는데, 예상치 못한 일정들로 인해 충분히 강의를 소화하지 못한 점이 아쉬움으로 남습니다. 현재 수강 기간이 얼마 남지 않아, 남은 강의를 보다 충실히 학습할 수 있도록 수강 기간 연장을 요청드려봅니다..
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 이번 9회차 실기 시험을 봤는데.. 합격을 하지 못했습니다ㅜㅜ 내년 상반기에 10회 실기 시험을 다시 응시하려고하는데.. 강의가 4월2일에 만료라서.. 혹시나 3개월정도 일시정지 가능할까요? 내년 시험기간쯔음에 다시 공부해서 꼭합격 하고 싶어요ㅜㅜㅜㅜ 다른 문의글 보니 메일주소를 남겨달라는 답변을 모아서 남깁니다 메일주소는 topk49@naver.com 입니다ㅜㅜ
해결됨
[2026년 빅분기 실기 준비] 빅데이터 분석 기사 실기 시험 100% 합격 ! 기출 문제의 패턴이 보인다 !
교통사고 유형별 검거율 계산하고, 각 연도별로 최고 검거율과 사고유형에 대해서 궁금한 것이 있어요. 최고 검거율과 관련해서 데이터가 2018년 음주운전 발생 910 2019년 음주운전 발생 1132 2020년 음주운전 발생 2413 2018년 음주운전 검거 819 2019년 음주운전 검거 1949 2020년 음주운전 검거 4064 라고 되어 있는데.. 발생보다 검거가 더 많이 나오는건 데이터를 램던으로 발생시켜서 그런걸로 이해하면 될까요 ? 그리고 발생연도마다 최고 검거율을 뽑아내는데, 다른 컬럼이 분명 검거율이 높은데(예를 들어 1.xxx) 이를 보지 않고 특정 컬럼이 검거율이 높다고 설명을 주시니, 혼돈이 있습니다. 무슨 말인지 영상을 두번 돌려봐도 이해가 안되네요.. 데이터에 맞게 설명을 주시는건지, 아니면 기출에 맞게 주시는건지.. 2018년도 검거율이 가장 높은게 신호위반 0.79 라고 말씀을 주시는데, 같은 라인에 검거율이 가장 높은게 화물차사고 16.411 이라고 보여지는데. 어떻게 해석해야하나요 ?
해결됨
실리콘밸리 엔지니어에게 배우는 파이썬 아파치 스파크
안녕하세요. 강의 잘듣고 있는 도중에 질문이 있어 글을 작성하게 되었습니다. 현재 cdc 기반으로 iceberg 테이블에 operation(insert, update, delete) 정보들을 적용해서 데이터를 적재하고 있습니다. 이부분까지는 DMS -> kinesis -> lambda-> firehose -> iceberg 순서로 문제없이 적재를 진행하고 있지만 이런형식으로 운영중인 iceberg 테이블 10개를 join 시켜 datamart에 현재는 1주일에 한번씩 전체를 삭제 후 insert하는 비효율 적인 방식으로 마트를 운영중에 있습니다. 이것을 개선시키기 위해 적재중인 iceberg 테이블들에 변경된 데이터들을 5분 10분 단위로 종합해 datamart 테이블에 변경 분에 한해서만 insert, update, delete를 반영해주고자 하는데 강의를 듣다보니 spark streaming을 활용해서 뭔가 해결을 할 수 있을것 같은데 혹시 이부분에 대한 아이디어에 대해서 조언을 구할 수 있을까요? 10개의 테이블에 대해서 10분간 발생한 변경 점들을 종합해 datamart에 반영을 해주려고 하는데 아직 제대로 감이 잡히지 않아서 질문드렸습니다.
해결됨
실리콘밸리 엔지니어에게 배우는 파이썬 아파치 스파크
안녕하세요. broadcast 예제코드에서는 이미 aggregation된 dataframe(코드에서 interviwer_count) 에 대해서 udf 실행을 위해서 meta 딕셔너리를 broadcast한 다음에 udf를 실행하는 것으로 이해하였는데요. 실제 운영하는 상황에서는 이런 경우에는 이미 aggregation이 된 dataframe이 먼저 만들어질 것이기 때문에 meta 딕셔너리를 dataframe으로 만든 후 join하는 것과 큰 차이가 없지 않나요? 해당 코드에서 broadcast를 함으로써 다른 방법(join 등)에 비해 얻는 이점이 어떤 건지 궁금합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요. 먼저 좋은 강의 감사드립니다. 저는 이번 9회 시험에서 1유형 30점, 2유형 40점, 3유형 20점 총 90점으로 합격했습니다. 퇴근후딴짓 선생님의 좋은 강의 덕분이라고 생각합니다. 다만 시험 중에 이상한 일이 있었습니다. 이번 3유형에 상관계수를 구하는 문제가 있었는데요, 제가 시험장에서 corr() 메서드를 사용했을 때 작동하지 않았습니다. 자료형이 틀렸거나 옵션 문제 등의 오류가 아니라, 확실히 not defined로 기억합니다. corr() 메서드 호출 자체가 불가능했습니다. 몹시 당황해서 이런저런 라이브러리를 불러도 보고, dir, help 등도 시도해봤지만 호출 자체가 안 되니 할 수 있는 방법이 없더라고요. 마지막으로 통계학 지식을 동원해 수작업 계산을 시도했지만, 결국 시간 부족으로 corr()이 필요했던 두 문제를(각 5점) 틀리게 되었습니다. 혹시 이런 문제가 발생하는 경우에 대해 아시는 바가 있을까요? 합격과는 별개로 너무 궁금하고 답답해서 문의를 드립니다.
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
선생님 안녕하세요. 우선 오늘 최종 합격하여 소식을 전하게 되었습니다. 다만, 다름이 아니라 점수가 좀 턱걸이인지라.. 담주에 예정된 최종 결과에서 합격예정이 불합격으로 바뀌는 사례가 있는지 궁금합니다. 제가 알기로는 불합격 사례에서 합격 한 사례는 있는 것으로 아는데 반대 사례가 있는지요?? 우선 정말 감사드립니다. 큰 도움이 되었습니다.
