inflearn logo
강의

강의
N
챌린지

챌린지
멘토링

멘토링
N
클립

클립
로드맵

로드맵
지식공유

묻고 답해요

173만명의 커뮤니티!! 함께 토론해봐요.

질문있습니다.

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

안녕하세요? 간단한 질문인데요.. df. 컬럼명 과 df["컬럼명"] 과는 무슨차이가 있나요? 출력해보면 똑같은 같이 나오는데요..

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
kccjjang 댓글 1 좋아요 0 조회수 199

빅데이터분석기사 기출 3회 작업형1

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

다른 문제집 질문도 가능 할까요? 문제 풀이 하던 중 답이 다르게 나와 질문드리고 싶어 일단 이렇게 글 올립니 🥲 강의 다 듣고 빅분기 문제집에 있는 기출 문제를 풀이 하던 중에 기출 3회 작업형1 2번 문제에서 강의에서 해주신 풀이 대로 풀어 보았는데 책에 있는 답이랑 달라서 질문드려요 😢 해설에는 76이 나오는데 방법2 처럼 풀이하면 71이 나오네요 😭 두개 다른 점이 있나요?? 봤을때 같은 답 구하는게 맞는거 같은데 왜 다른 값이 나오는지 이상해서요 다음은 국가별 연도별 인구 10만명당 결핵 유병률 데이터 세트이다. 2000년도의 국가별 결핵 유병률 데이터세트에서 2000년도의 평균값보다 더 큰 유병률값을 가진 국가의 수를 계산하시오. !git clone https://github.com/AnalyticsKnight/yemoonsaBigdata/ # 데이터 불러오기 import pandas as pd df = pd.read_csv("/content/yemoonsaBigdata/datasets/Part3/302_worlddata.csv") df.head() # 방법1(해설) df_2000 = df[df['year']== 2000].drop('year', axis =1) df_2000.index = ['value'] df_2000_T = df_2000.T # print(df_2000_T['value'].mean()) rst_df = df_2000_T[df_2000_T['value'] > df_2000_T['value'].mean()] print(len(rst_df)) # 방법2 df = df.T df.head() m = df[1].mean() print(sum(df[1] > m))

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
수지 댓글 2 좋아요 0 조회수 297

vim etc/hosts 질문

해결됨

빅데이터 클러스터 구축 패키지; 성공을 향한 로드맵

AMI 생성 후에 instance를 각각 4개씩 launch를 했는데요 영상 속 이미지와 다르게 sudo vim etc/hosts를 해도 빈 파일이 열립니다. ip 리스트를 작성하고 저장하려고 하니 can't open 에러가 발생하고요. 등록한 ip 리스트를 이용해서 노드 간 통신을 하는 것으로 보여지는데요. 무시하고 진행해도 되는건가요?

  • 빅데이터
  • hadoop
  • apache-spark
  • 데이터-엔지니어링
  • cluster
fade 댓글 2 좋아요 0 조회수 431

강의가 나오지 않음

미해결

[실전]텍스톰 TEXTOM 실전 강의: 빅데이터 논문 작성을 위한 텍스트 분석/텍스트마이닝

섹션 6. (구버전_실습) 텍스톰 데이터 추출(네이버 뉴스 기사) 이후로 강의가 나타나지 않습니다. 일시적인 현상이지 궁금합니다.

  • 빅데이터
  • 텍스트마이닝
  • textom
김태근 댓글 1 좋아요 0 조회수 297

corr() 실행 안됨

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

이번에 복습하면서 처음부터 수업 다시 듣고 있는데요. 예전엔 corr()함수 오류없었는데, 이번엔 오류가 발생하더라고요. 혹시 상단에 코드 입력이 잘 못 되었나 일일이 다 확인해봤는데도 문제 없었고, 심지어 선생님 기본자료로 돌려봐도 똑같이 오류가 나오네요. corr() 실행 조건이 문자열 항목 있으면 안되게끔 바뀐거 같습니다. 예전에는 문자열 칼럼있어도 알아서 걸어서 계산했는데.... 앞으로 어떻게 사용하면 좋을지 알려주시면 감사하겠습니다

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
빅분기수강생 댓글 2 좋아요 0 조회수 512

aws ubuntu 22.04 크롬 드라이브 설치 및 경로 확인

해결됨

빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술

wget 설치 후 wget 으로 2023_BIGDATA 디렉토리에 크롬.deb 파일 내려 받고 dpkg -i 명령어로 설치 하여 google-chrome --version 이 나왔습니다 chromedriver.Chrome ('chromedriver') 라는 파일은 어디에서 찾을 수 있을까요? driver = webdriver.Chrome ("/home/ubuntu/2023_BIGDATA/google-chrome-stable_current_amd64.deb" pip install wget sudo wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb # google-chrome-stable_current_amd64.deb sudo dpkg -i google-chrome-stable_current_amd64.deb google-chrome --version Google Chrome 123.0.6312.105

  • 빅데이터
  • hadoop
  • elasticsearch
  • logstash
  • Kibana
  • apache-spark
  • s3-bucket
홍태경 댓글 2 좋아요 0 조회수 1236

섹션2 실습1 코드 공유 문의..

해결됨

빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술

안녕하세요 강사님.. 실습 1번은 현재 저로서는 해석이 불가능하여 해석은 나중에 하기로 하고 일단 쳐보기만 열심히 쳐봤는데 역시나 안되네요.. 코드 공유좀 부탁 드릴 수 있을까요.. 죄송합니다 from bs4 import BeautifulSoup from urllib.request import * from urllib.parse import * from os import makedirs import os.path, time, re proc_files = {} def enum_links(html, base): soup = BeautifulSoup(html, "html.parser") links = soup.select("link[rel='stylesheet']") # CSS links += soup.select("a[href]") # link result =[] for a in links : href = a.attrs['href'] url = urljoin(base, href) result.append(url) return result def download_file(url): o = urlparse(url) savepath = "./" + o.netloc + o.path if re.search(r"/$", savepath): savepath += "index.html" savedir = os.path.dirname(savepath) if os.path.exists(savepath): return savepath if not os.path.exists(savedir): print("mkdir=", savedir) makedirs(savedir) try: print("download=", url) urlretrieve(url, savepath) # url 다운 받고 파일 이름은 savepath로 저장 time.sleep(1) return savepath except: print("다운 실패", url) return None def analyze_html(url, root_url): savepath = download_file(url) if savepath is None: return if savepath is proc_files: return proc_files[savepath] = True print('analyze_html', url) html =open(savepath, "r", encoding="utf-8").read() links = enum_links(html, url) for link_url in links: if link_url.find(root_url) != 0: if not re.search(r".css$", link_url): continue if re.search(r".(html|htm)$", link_url): analyze_html(link_url, root_url) continue download_file(link_url) if __name__ == "__main__": url = "https://docs.python.org/3.5/library/" analyze_html(url, url)

  • 빅데이터
  • hadoop
  • elasticsearch
  • logstash
  • Kibana
  • apache-spark
  • s3-bucket
홍태경 댓글 3 좋아요 0 조회수 471

Beautiful Soup 실습 출력 문의

해결됨

빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술

일단 따라 쳐봤는데 아래의 결과 처럼 나오는게 맞을까요? html 변수에 </ul>이 있는데 혹시 앞에 <ul>은 없어도 동작 되나요? from bs4 import BeautifulSoup html = """ <html><body> <div id="project"> <h1 id="title">BIG DATA PROGRAMMING</h1> <p id='body'>DATA ANLYSIS AND SCRENCE</p> <p>DATA ACQUISTION PART1</p> </ul> <ul class="items"> <li>CRAWLING</li> <li>SCRAPPING</li> <li>HYBRID WAY</li> </div> </body></html> """ soup = BeautifulSoup(html, 'html.parser') h1 = soup.html.body.h1 p1 = soup.html.body.p p2 = p1.next_sibling.next_sibling print("h1 = " + h1.string) print("p = " + p1.string) print("p = " + p2.string) title = soup.find(id="title") body = soup.find(id="body") print("#title=" + title.string) print("#body=" + body.string) h1 = soup.select_one("div#project > h1").string print("h1 =", h1) li_list = soup.select("div#project > ul.items > li") for li in li_list: print("li =", li.string) 결과 python3 2_bs4_temp.py h1 = BIG DATA PROGRAMMING p = DATA ANLYSIS AND SCRENCE p = DATA ACQUISTION PART1 #title=BIG DATA PROGRAMMING #body=DATA ANLYSIS AND SCRENCE h1 = BIG DATA PROGRAMMING li = CRAWLING li = SCRAPPING li = HYBRID WAY

  • 빅데이터
  • hadoop
  • elasticsearch
  • logstash
  • Kibana
  • apache-spark
  • s3-bucket
홍태경 댓글 1 좋아요 0 조회수 202

통합자료 요청 드립니다.

미해결

[핵집] 2025 빅데이터 분석기사(필기)_과목 1~2

해당 통합 자료 요청드립니다. 메일주소 imbcy@naver.com 입니다. 감사합니다.

  • 빅데이터
백창열 댓글 3 좋아요 0 조회수 237

강의교안 부탁드려요

미해결

[핵집] 2025 빅데이터 분석기사(필기)_과목 3~4

안녕하세요3-4과목 통합강의교안 부탁드립니다메일주소 2dull2dull@naver.com 입니다감사합니다

  • 빅데이터
2dull2dull 댓글 1 좋아요 0 조회수 200

통합 자료 요청

미해결

[핵집] 2025 빅데이터 분석기사(필기)_과목 1~2

안녕하세요 [2024 빅데이터 분석기사(필기)_과목 1~2] 과목 신청해서 수강 중 입니다 해당 강의 피피티 통합 자료 부탁드립니다 이메일: dnfl531@naver.com 감사합니다

  • 빅데이터
댓글 2 좋아요 0 조회수 244

통합본 자료 요청

미해결

[핵집] 2025 빅데이터 분석기사(필기)_과목 3~4

안녕하세요, 통합본 강의자료 요청드립니다 현재 1, 2과목 수강도 함께하고 있어 1, 2, 3, 4과목 모두 부탁드립니다 메일은 wkdrb2100@gmail.com 입니다

  • 빅데이터
장규희 댓글 1 좋아요 0 조회수 313

유씨넷 프로그램 설치

미해결

[실전]텍스톰 TEXTOM 실전 강의: 빅데이터 논문 작성을 위한 텍스트 분석/텍스트마이닝

안녕하세요 선생님~ 유씨넷 프로그램 설치는 정확히 어떤 경로로 하는지 알 수 있을까요? 검색해보니 처음 일정기간만 무료로 이용가능하고 별도로 구입해서 쓰는 유료 프로그램인듯 한데 맞나요? 윈도우 만 되고 맥용은 따로 없는 건지도 궁금합니다~~ 감사합니다!

  • 빅데이터
  • 텍스트마이닝
  • textom
우아한 북극곰 댓글 2 좋아요 0 조회수 671

수업자료 통합본 요청 건

미해결

[핵집] 2025 빅데이터 분석기사(필기)_과목 1~2

안녕하세요? 수업자료 통합본 요청드립니다. 빅분기 1~4 과목 강의 신청했습니다. 수업자료가 따로따로 되어 있어 살짝 불편한 감이 있습니다. ljk3815@naver.com 감사합니다.

  • 빅데이터
ljk3815 댓글 2 좋아요 0 조회수 180

df[cond][Reached.on.Time_Y.N]의 의미가 궁금합니다.

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

감사합니다. cond 조건이 나오고 , 뒤에 또 [] 구문이 나오면 어떻게 연결되는지 궁금합니다. 일단 의도는 디스카운트 10% 넘는 행 중에서, 정시 도착 하는 수라고 이해했는데요. 이 두개의 []가 어떤 순서로, 이루어 지는지? 이건 두개의 명령문을 합쳐 놓은건지요?

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
kccjjang 댓글 1 좋아요 0 조회수 222

2회 작업형2 기출 데이터 관련

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

2회 작업형2 기출 데이터 다운로드쪽에 train밖에 못찾겠는데.. 혹시 test.csv 파일은 어떻게 찾으면 되나여?

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
DataAnonymous 댓글 1 좋아요 0 조회수 235

수업자료

미해결

[핵집] 2025 빅데이터 분석기사(필기)_과목 1~2

안녕하세요, 수업자료 통합본 요청드립니다. wjustdoit15@gmail.com 으로 부탁드립니다. 감사합니다.

  • 빅데이터
송우제 댓글 1 좋아요 0 조회수 146

왜 train 데이터만 fit_transform 하는지요?

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

안녕하십니까? 계속 궁금해서요.. 왜 train 데이터만 fit_transform 하고 test 데이터는 그냥 transform 하는 건지요? test 데이터도 fit_transform하면 어떻게 되는거진요? 항상 자세한 설명에 감사드립니다.

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
kccjjang 댓글 2 좋아요 0 조회수 460

venv 환경 패키지 설치 방법 문의

해결됨

빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술

requests 패키지를 설치하려 하는데 안됩니다. 혹시 venv 환경에서 패키지 설치하는 방법은 좀 다른가요? (venv2023) ubuntu@ip-172-31-12-30:~/2023_BIGDATA$ sudo pip install requests Requirement already satisfied: requests in /usr/local/lib/python3.10/dist-packages (2.31.0) Requirement already satisfied: charset-normalizer<4,>=2 in /usr/local/lib/python3.10/dist-packages (from requests) (3.3.2) Requirement already satisfied: idna<4,>=2.5 in /usr/local/lib/python3.10/dist-packages (from requests) (3.6) Requirement already satisfied: urllib3<3,>=1.21.1 in /usr/local/lib/python3.10/dist-packages (from requests) (2.2.1) Requirement already satisfied: certifi>=2017.4.17 in /usr/local/lib/python3.10/dist-packages (from requests) (2024.2.2) WARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv

  • 빅데이터
  • hadoop
  • elasticsearch
  • logstash
  • Kibana
  • apache-spark
  • s3-bucket
댓글 2 좋아요 0 조회수 1441

수업자료 요청

미해결

[핵집] 2025 빅데이터 분석기사(필기)_과목 1~2

빅분기1~2 수업자료 요청드립니다. sinisiro@naver.com

  • 빅데이터
sinisiro 댓글 2 좋아요 0 조회수 183

인기 태그

인프런 TOP Writers

주간 인기글