묻고 답해요
161만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 기본편
오류가떠요
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 기본편
오류가떠요!!!
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 기본편
코드진행이 안되는데 어떻게하죠?
분명 뷰티풀수프랑 bs4도 request 도 다 깔렸는데 실행 자체가 안돼요미치겠네요 혹시 다른버전인지도 확인해봤는데다 눌러봐도 다 실행이 안돼요이거 어떻게해야하죠?파이썬 리셋시키고 하는방법이 있나요?
-
미해결파이썬 텍스트 분석 입문 - 데이터 수집부터 분석까지
맥 os에서 폰트 경로 지정*코랩 사용
안녕하세요 코랩으로 공부중입니다.워드클라우드 작성시 font_path="C:/windows/fonts/malgun.ttf폰트 경로를 지정해줘야 하는데 운영체제가 mac 일경우에는 폰트 지정을 어떻게 해야하나요?폰트 지정을 안하니 글자까 개져서 나와요
-
미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
질문 : for문 풀어쓰기
안녕하세요. 선생님.해당 강의에서 아래와 같이 for문을 한줄에 쓰셨는데요?FAANG=["META", "AMZN", "AAPL", "NFLX", "GOOGL"] faang_list=[fdr.DataReader(code,'2015','2021')["Close"]for code in FAANG] df_faang=pd.concat(faang_list, axis=1)제가 이걸 으로 시작해서 두줄에 풀어썼는데... 에러가 나는데요? 혹시 어느 부분이 잘못되었는지 알려주실수 있으신지요?FAANG=["META", "AMZN", "AAPL", "NFLX", "GOOGL"] for code in FAANG: faang_list=[fdr.DataReader(code,'2015','2021')["Close"]for code in FAANG] df_faang=pd.concat(faang_list, axis=1)
-
미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
파이참에서 Plotly 그래프 실행방법
안녕하세요. 선생님.저는 파이참을 주로 사용중이어서, 파이참으로 실습중입니다.Plotly의 경우 fig.show()를 하면 웹페이지만 나타나고,아무런 실행이 안됩니다.파이참에서 plotly 그래프를 실행하려면 어떻게 해야하나요?
-
미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
5.1 데이터프레임 병합(merge)
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 5.1에서 df_item_code_name 데이터프레임과 raw 데이터프레임을 병합하려 하는데 아래와 같은 화면이 뜹니다.다른 코드는 다 맞게 작성했는데 여기서 왜 오류가 뜰까요 ㅠㅠ on을 작성하지 않고 그냥 merge만 해도MergeError: No common columns to perform merge on.라고 오류가 뜹니다 ㅠㅠ또한, 맨 처음 전처리 과정에서도 이러한 메시지가 뜨는데 혹시 이것이 원인일지 궁금합니다.
-
미해결[웹 개발 풀스택 코스] Node.js 프로젝트 투입 일주일 전 - 기초에서 실무까지
개발자님이 예시로 해서 Mysql에 넣은 데이터들을 알수있을까요?
안녕하세요. 현재 mysql 연동하기 강의를 듣고 있는데, 개발자님이 예시로 해서 Mysql에 넣은 데이터들을 알수있을까요?
-
미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
soup으로 검색한 버튼 또는 text를 click할때 어떻게 하나요 ?
webdriver의 find_element로 찾은 경우 .click()을 붙여주면 click이 되는데, soup으로 찾은 경우 .click()을 붙여주면 오류가 발생하네요.click을 하려면 find_element를 써야 할까요? soup으로 찾은 객체는 click을 할 수 없을까요?
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
쿠팡 페이지 지정 출력
안녕하세요 쿠팡 크롤링 100개 상품 출력 강의를 듣고 코드를 작성했는데요, 똑같이 작성을 해봐도 페이지만 숫자만 출력되고 안에 내용이 출력되지 않습니다 ㅠ 코드 한번만 확인 부탁드려도 될까요? import requests from bs4 import BeautifulSoup import pyautogui keyword = pyautogui.prompt("검색어를 입력하세요 >> ") rank = 1 done = False for page in range(1,5): if done == True: break print(page, "번째 페이지 입니다.") main_url = "https://www.coupang.com/np/search?&q={keyword}&page={page}" coupang_header = { 'Host': 'www.coupang.com', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:76.0) Gecko/20100101 Firefox/76.0', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 'Accept-Language': 'ko-KR,ko;q=0.8,en-US;q=0.5,en;q=0.3', } response = requests.get(main_url, headers=coupang_header) html = response.text soup = BeautifulSoup(html, "html.parser") links = soup.select("a.search-product-link") for link in links: if len(link.select("span.ad-badge-text")) > 0: print("광고상품 입니다.") else: sub_url = "https://www.coupang.com/" + link.attrs['href'] response = requests.get(sub_url, headers=coupang_header) html = response.text soup = BeautifulSoup(html, "html.parser") try: brand_name = soup.select_one("a.prod-brand-name").text except: brand_name = "" product_name = soup.select_one("h2.prod-buy-header__title").text try: product_price = soup.select_one("span.total-price > strong").text except: product_price ="" print(rank, brand_name, product_name, product_price) rank = rank + 1 if rank > 100: done = True break
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 기본편
검색창 클릭이 안됩니다ㅜㅜ
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys import time # 브라우저 생성 browser = webdriver.Chrome('c:/chromedriver.exe') # mac 의 경우 /User/내거로/Documents/chromedriver # 웹 사이트 열기 browser.get('https://www.naver.com') browser.implicitly_wait(10) # 로딩이 끝날 때까지 10초 기다림 # 쇼핑 메뉴 클릭하기 browser.find_element(By.CSS_SELECTOR, ".service_icon.type_shopping").click() time.sleep(2) # 검색창 클릭 search = browser.find_element(By.CSS_SELECTOR, "input._searchInput_search_text_3CUDs") search.click() # 검색어 입력 search.send_keys("아이폰13") search.send_keys(Keys.ENTER)
-
미해결실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
쿠팡정보 웹사이트 관련,
선생님! 쿠팡정보 크롤링해서 웹사이트 만들었습니다이렇게 유익한 강의 처음입니다!! 너무너무 감사해요다름이 아니라 혹시 괜찮으시면 선생님과 만든 웹사이트에 쿠팡 파트너스 API 연동시키는 부분 강의로 찍어주실수 있는지요 아님 유튜브 영상이라도 부탁드려요 ㅠㅠㅠ 혼자 하려니까 API 주소를 어따 붙여넣기 해야하는지 감이 안잡히네요
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 기본편
크롤링 - 네이버 쇼핑 검색창 선택
네이버쇼핑 검색창 클릭 관련해서선택자를 input._searchInput_search_text_3CUDs로 하여서 코드를 실행하였는데 동작이 되지 않습니다.코드를 잘못 작성한건가 싶어서 네이버 홈에서 검색창에 맞는 선택자로 테스트 했을 때는 정상 작동하는데 네이버 쇼핑 탭에서만 작동이 안되는 이유가 궁금합니다. 추가로 크롬 꺼짐 방지chrome_options = Options() chrome_options.add_experimental_option("detach",True) driver = webdriver.Chrome(service=service, options=chrome_options)코드를 사용했음에도 vscode를 사용할 때 꺼집니다. (vscode 파이썬 버전은 3.9.13입니다.)주피터 노트북에서는 안꺼지는데 혹시 vscode만 꺼지는 이유를 알 수 있을까요?
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
드롭다운 질문
안녕하세요! 정말 유용히 강좌 활용하고 있습니다. 타사이트 크롤링 시도 중 에러를 만나 질문드립니다.제가 이번에 크롤링을 시도하고 있는 사이트는 Amazon Australia (https://www.amazon.com.au/)입니다. 다만, 한국에서 호주 아마존 제품을 크롤링을 시도하고 있는 관계로 제 위치(또는 주소)를 호주 쪽으로 먼저 설정해야 아이템 리스트를 제대로 볼수가 있더라구요.그래서 해당 설정을 위해 아래와 같이 코드를 작성했습니다. 그런데 50번째 줄부터 에러가 생기네요.여기에 'Select your City'를 클릭하도록 한 후, 'Sydney'를 선택하도록 만들고 싶습니다. 혹시 제 코드가 왜 에러가 발생하는 지 혹은 개선할 점이나 의견 있으실까요? :)
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 기본편
맥에서 오류가 뜹니다 #reportUndefinedVariable #reportMissingModuleSource
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.왜 리퀘스트와 html을 찾을수 없다고 나오는 걸까요 ㅜㅠ 구글링해도 어떻게 하라는 건지 잘 모르겠는데 여쭤봐도 괜찮을까요 맥을 하고 있습니다 ㅠ.ㅠ
-
미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
쥬피터노트북에서 실행파일 만들기
프로그램에 문외한 초보입니다. 선생님의 강의를 듣고자 쥬피터노트북을 설치하였습니다. 거기서 제가 사용하고자 자동화프로그램을 하나 만들었는데, 실행파일이 만들어 지지 않고 계속 아래의 오류메시지가 뜹니다. 근데 아래의 pathlib라는 패키지를 제거하면 이번에는 pip명령이 작동하지 않습니다. 파이참도 설치하여 파일을 옴겨보고 수 없이 프로그램을 재설치하고, chatgpt에 문의도해 보았지만, 문제를 해결하지 못하였습니다. 강의 내용과 좀 다른 질문일수도 있으나, 어디 도움을 구할 곳이 없네요. 쥬피터노트북을 사용하시는 선생님은 실행파일을 어떻게 만드시는지 궁금하여 문의드립니다.The 'pathlib' package is an obsolete backport of a standard library package and is incompatible with PyInstaller. Please remove this package (located in C:\Users\jh_ki\anaconda5\lib\site-packages) using conda remove then try again.
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
네이버지도크롤링부분
안녕하세요 네이버지도 크롤링 부분을 듣다가 응용을 좀 해보고싶어서 그러는데 각 리뷰수,블로그리뷰수,등등 뽑아오는것은 가능하지만 각 상점마다 클릭을하여 리뷰를 작성한텍스트 부분도 같이 뽑아오고싶습니다(각 상점의 리뷰텍스트) 어떤 방식으로 진행을 해야할지 모르겠는데 조언 부탁드립니다.
-
미해결실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
네이버가 바뀌었는데 카테고리? 리스트 가져오는게 안되네요?
안녕하세요.강의 잘 듣고 있습니다.네이버가 새로운 형태로 바뀌었는데아주 간단한 것이 해결이 안되네요?이유가 뭘까요?기본구조는 이렇게 생겼습니다.<li class="shortcut_item"> <a href="mail.naver.com" class="link_service"> <span class="service_icon type_mail"> ::before ::after </span> <span class="service_name">메일</span> </a> </li> <li class="shortcut_item"> </li>아래처럼 너무 단순한거라 생각했던 것을 못 가져오네요?확인 부탁드려요~service_name = soup.find(class_="service_name", string="메일") print(service_name) # None 출력이 안되네 이유가 뭘까나? print()
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
header 관련 질문
안녕하세요. 현재 거의 완강을 한 학생이자, 업무에서도 크롤링을 나름 잘 활용하고 있습니다. 그래도 여러 가지 어려운 에러를 많이 만나는데, 그 중 하나가 header 관련 입니다. 우선, 제가 크롤링을 시도하고 있는 웹사이트는 라쿠텐 일본 (https://search.rakuten.co.jp/search/mall/-/560202/?p=2&used=1) 웹사이트입니다. 1페이지까지는 크롤링이 잘 되는데, 2페이지부터는 크롤링이 되지 않고, 하기와 같은 화면이 나오네요.제가 구글링을 많이 해본 결과, 웹사이트에서 크롤링 방지를 위해 무엇인가 설정을 해놓은 것이 아닐까 생각이 되고, 그래서 수업 중에 설정했던 header에 관해 여러 설정을 해보고 있는데, 아직 성공적으로 돌리지 못했네요. 전 셀레니움을 사용해서 다음과 같은 설정을 추가해봤습니다만, 혹시 관련해서 조언을 주실만한 사항이 있을까요?헤더나 설정을 할 때 무엇이 어떻게 필요한지 어떻게 아는지도 매우 궁금합니다.
-
미해결[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
입문 이후 강의 고민
안녕하세요저는 공공기관에 근무하고 있는데다른 파이썬 강의는 지루하고 어려워서 돌고 돌다가 선생님께서 쉽게 기초부터 잘 가르쳐주셔서감사하게 생각하고 있습니다.사실 파이썬 데이터 분석을 먼저 신청했는데 머리에 잘 들어오지 않아 고민 끝에 입문 강의를 신청해서 듣고 있는데 정말 만족하고 있습니다. 최종적으로 제가 만들고 싶은 건 두 가지입니다.하나는, 책의 내용을 제가 텍스트로 정리하고 만들고자 하는 프로그램에서 그걸 불러오면... 음... 액세스 같은 프로그램이라고 할까요(액세스는 잘 안 쓰이는 거 같더라구요) 그 프로그램에서 키워드를 검색하면 키워드를 포함하는 문장과 그 문장이 속한 카테고리가 옆에 뜨게 되는 그런 것이고 다른 하나는, 데이터 비교 및 분석입니다.업무 특성상 과거연도와 데이터 비교를 할 일이 많습니다.데이터 크기, 양도 몇 만~ 1~20만 건인데다가 단순 엑셀 수작업으로 하기엔 데이터 추출하기도 정리하기도 엑셀도 버벅대서 여러모로 버거워서 배우고 있는데 이런 업무를 하려면 어떤 것들을 배워야 할지 몰라서혹시나 도움이 될까해서 글 올려봅니다.