무료
다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 미해결이것이 진짜 크롤링이다 - 기본편
주식 데이터 상한가를 크롤링 하고 싶은데 방법을 모르겠습니다.
주식데이터를 크롤링 할때 품목의 현재가를 가져올때는 id="_nowVal" 라는 고유의 id가 있어서 가져왔는데 상한가를 가져올때는 특별한 고유 id가 없는데 어떤식으로 크롤링을 해야하는건가요??
- 미해결이것이 진짜 크롤링이다 - 기본편
8분 46초 질문
a태그에 클래스명이 nav이면서 shop클래스 동시에 갖고있는 녀석이라 하셨는데, 띄어쓰기로 되어 있으면 . 으로 구분해주면 되는 건가요? 쇼핑 옆에 Pay를 열어보려고 해봤는데 못하겠습니다. 쇼핑은 마우스 올려놓으면 a.nav.shop이라 뜨지만 나머지들은 a.nav라고만 뜨는게 많은데 얘네들은 어떻게 해야하나요?? 제가 질문한 내용들이 실전편에 나오나요??
- 미해결이것이 진짜 크롤링이다 - 기본편
질문있습니다
안녕하세요 셀레니움을 사용해 상품 정보를 가지고 오는 것 까지 수강 했는데 추가적으로 상품을 하나하나 들어가서 상품 상세페이지와 옵션값(색상,사이즈) 까지 가지고 오는 경로를 생각 해보고 싶은데요 이런 경우에 스타트코딩님 실전편 결제 해서 들으면 생각을 해볼 수 있을까요 ?
- 미해결이것이 진짜 크롤링이다 - 기본편
다음과 같은 error가 나는데 원인을 못찾겠네요..
구글링 해봐도 잘 나오지 않는데, 혹시 해결방법이 있을까요? 여기에 ChromeDriverManager().install() 이부분이 명암처리 되는거 보면, 여기서 에러 나는거 같은데, 확인좀 부탁드리겠습니다.
- 미해결이것이 진짜 크롤링이다 - 기본편
pyautogui 모듈을 다운 받았는데
ModuleNotFoundError: No module named 'pyautogui' 모듈을 찾을수가 없다고 하네요. 지우고 다운 받고 반복 했으나 찾을수가 없다고 합니다.. 버전이 안맞는건지 모르겠네요
- 미해결이것이 진짜 크롤링이다 - 기본편
주식 정보 수집하기 attributeError 해결방법 있을까요?
강의를 들으면서 그대로 입력을 하였는데, attributeError가 발생합니다구글링도 해보고, 다양한 수정도 해봤는데 해결이 안되네요ㅠ조언 부탁드립니다아래는 에러 메세지입니다
- 미해결이것이 진짜 크롤링이다 - 기본편
네이버 쇼핑 상품 정보 수집하기
from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.chrome.service import Service from selenium.webdriver.chrome.options import Options from webdriver_manager.chrome import ChromeDriverManager # 크롬드라이버 자동업데이트 from selenium.webdriver.common.by import By import time # 브라우저 생성 browser = webdriver.Chrome('/Users/gimsuyeon/Desktop/현프파이썬/네이버쇼핑크롤링/chromedriver') # 브라우저 꺼짐 방지 chrome_options = Options() chrome_options.add_experimental_option("detach", True) # 불필요한 에러 메세지 없애기 chrome_options.add_experimental_option("excludeSwitches", ["enable-logging"]) service = Service(executable_path=ChromeDriverManager().install()) driver = webdriver.Chrome(service=service, options = chrome_options) # 웹페이지 해당 주소 이동 driver.get("https://www.naver.com") driver.implicitly_wait(10) # 로딩이 끝날 때까지 10초까지는 기다려줌 # 쇼핑 메뉴 클릭 driver.find_element(By.CSS_SELECTOR,'a.nav.shop').click() time.sleep(2) # 검색창 클릭 search = driver.find_element(By.CSS_SELECTOR,'input._searchInput_search_text_fSuJ6') search.click() # 검색어 입력 search.send_keys('아이폰 13') search.send_keys(Keys.ENTER) # 스크롤 전 높이 before_h = driver.execute_script("return window.scrollY") # 무한 스크롤(반복문) while True: # 맨 아래로 스크롤을 내린다. driver.find_element(By.CSS_SELECTOR, 'body').send_keys(Keys.END) # 스크롤 사이 페이지 로딩 시간 time.sleep(1) # 스크롤 후 높이 after_h = driver.execute_script("return window.scrollY") if after_h == before_h: break before_h = after_h # 상품 정보 div items = driver.find_elements(By.CSS_SELECTOR,".basicList_info_area__0T9JD") for item in items: name = item.find_elements(By.CSS_SELECTOR,".basicList_title__VfX3c").text try: price = item.find_elements(By.CSS_SELECTOR,".price_num__S2p_v").text except: price = '판매중단' link = item.find_elements(By.CSS_SELECTOR, ".basicList_title__VfX3c > a").get_attribute('href') print(name, price, link) .py:10: DeprecationWarning: executable_path has been deprecated, please pass in a Service object이렇게 터미널에 계속 오류가 뜨는데 어디가 문제 인지 모르겠습니다ㅠㅠㅠ 알려주세요ㅠㅠㅠ 셀레니움 4.0 버전 가이드 강의도 다 듣고 한건데도ㅠㅠ계속 오류가 납니다
- 미해결이것이 진짜 크롤링이다 - 기본편
수집한 데이터 엑셀에 저장하기
선생님 안녕하세요! 이 부분에서 현재가는 엑셀파일에 저장이 되었는데 나머지 항목인 종목 , 평균매입가, 잔고수량 등은 직접 엑셀에 작성하는 걸까요? 아니면 이것도 크롤링해서 엑셀에 저장하신 걸까요? 궁금합니다! 그리고 현재가 뺀 나머지 항목들이 크롤링해서 가져오신거라면 어떻게 여러가지 항목을 엑셀에 저장하는지 궁금합니다
- 미해결이것이 진짜 크롤링이다 - 기본편
16강에 대한 질문입니다.
안녕하세요.웹크롤링 강의를 잘 듣고 있습니다.16강의를 따라 학습하던 중 오류가 생겨 질문드립니다.네이버 쇼핑창에 아이폰 13 검색후 개발자도구 선택하면 아이템, 상품명, 가격, 링크 태그가아래처럼 나와서 복사해서 코딩했습니다.아래 처럼 오류메세지가 뜹니다.아마도 조건에 맞는 데이터가 없는듯합니다.어느부분이 오류인지 알려주시면 감사하겠습니다.
- 미해결이것이 진짜 크롤링이다 - 기본편
라이브러리 오류
계속 requests 모듈이 오류가 납니다...pip install requests해보고 다시 지웠다가고 다시 설치했는데도 계속 오류가 뜨는데 어떻게 해야되는지 알려주시면 감사하겠습니다
- 미해결이것이 진짜 크롤링이다 - 기본편
엑셀 관련 질문입니다
안녕하세요, 강의 잘 수강하고 있던 중 오류가 발생했는데 해결 방법을 몰라 질문 드립니다.'Chartsheet' object does not support item assignment < 이렇게 오류가 뜨는데 어떻게 해결해야 되나요?
- 미해결이것이 진짜 크롤링이다 - 기본편
VISUAL STUDIO를 쓰면 항상 ERROR가 나네요.
그래서 지금은 주피터노트북으로 따라하고 있는데, VISUAL 은 아래 사진처럼 항상 이런식으로 뜨는데 원인을 모르겠습니다...
- 미해결이것이 진짜 크롤링이다 - 기본편
이 error는 왜 나는지 모르겠습니다.
다음과 같은 error가 뜨는데요.. 저 20번쨰 줄이 문제 인거 같은데 해결이 안되네요.. 참고로 엑셀 C열은 비어 있습니다.
- 미해결이것이 진짜 크롤링이다 - 기본편
셀레니움에서 선택자 찾기 질문입니다.
안녕하세요.https://in.naver.com/intro/keywords 여기 페이지에서 위에 "리빙", "테크" 와 같은 탭을 자동선택하는 것을 만들려고합니다.이에 파이썬 셀레니움에서 노란색 부분을 클릭하는 코드를 만들려고하는데요.어떻게 해야되는지 알려주시면 감사하겠습니다.browser=webdriver.Chrome('C:/chromedriver.exe') browser.get('https://in.naver.com/intro/keywords') browser.implicitly_wait(10) browser.find_element_by_id("173983346688000query").click()참고로 위의 div의 클래스들은 모두 독립적인 명칭이고 노란색 부분 id명도 마찬가지입니다.
- 미해결이것이 진짜 크롤링이다 - 기본편
excel관련 질문입니다.
안녕하세요. 엑셀파일을 create 하려고 하는데, 매번 이렇게 workbook이 정의되지 않아서 생성이 안된다고 뜹니다. ㅠㅠ 선생님께서 알려주신 스튜디오에서도 안되고, 쥬피터 노트북에서도 보았지만 계속 정의되지 않았다고 오류만 뜨네요... 답변 주시면 감사하겠습니다.
- 미해결이것이 진짜 크롤링이다 - 기본편
안녕하세요. 네이버 쇼핑 상품 정보 수집 강의 중 에러 문의
from selenium import webdriver from selenium.webdriver.common.keys import Keys #검색어 입력Import시키기 import time #브라우저 생성 browser = webdriver.Chrome('C:/chromedriver.exe') #크롬 드라이버 저장된 경로 넣기 #웹사이트 열기 browser.get('https://www.naver.com') #브라우저 꺼짐 방지S #chrome_options = Options() #chrome_options.add_experimental_option("detach",True) #웹사이트 로딩이 끝날 떄까지 10초까지 기다리기(브라우저가 열려야 메뉴를 클릭하니까!) browser.implicitly_wait(10) # 로딩이 끝날 때까지 10초까지는 기다려줌 #쇼핑 메뉴 클릭하기 (find~ : 해당되는 한개 데이터만 가져옴) browser.find_element_by_css_selector('a.nav.shop').click() time.sleep(2) #시스템 자체를 2초동안 멈춤 (browser.implicitly_wait()과 차이!) #검색창 클릭하기 search = browser.find_element_by_css_selector('input._searchInput_search_text_3CUDs') search.click() #검색어 입력 search.send_keys('아이폰 13') search.send_keys('Keys.ENTER') #스크롤 전 높이 before_h = browser.execute_script("return window.scrollY") #현재 스크롤된 높이를 계산해줌 (0~) #무한 스크롤 while True: #무한 반복문 # 맨 아래로 스크롤을 내린다. (네이버 쇼핑은 스크롤 숨겨져 있음!) browser.find_element_by_css_selector("body").send_Keys(Keys.END) # 스크롤 사이 페이지 로딩 시간 time.sleep(2) #스크롤 후 높이 after_h = browser.execute_script("return window.scrollY") if after_h == before_h: break before_h = after_h #파일 생성 f = open(r"C:\Startcoding_Crawling\03.네이버_쇼핑 크롤링\data.csv",'w',encoding='CP949',newline='') #'w' : 쓰기모드, 'encoding' : 인코딩 안하면 깨짐, 'newline' : 윈도우 경우 줄바꿈 자동으로 들어가므로 없애주기 csvWriter = csv.writer(f) #상품 정보 div items = browser.find_element_by_css_selector(".basicList_info_area__TWvzp") #반복문으로 아이템 정보 저장 for item in items: name - item.find_element_by_css_selector("basicList_title__VfX3c").text #아이템 타이틀 try: #아이템 가격이 없고 다른 내용이 있을 떄!!!(ex."판매불가") 많이 쓰니까 알아두기!! price = item.find_element_by_css_selector("basicList_price_area__K7DDT").text #아이템 가격 (부모태그) except: price = "판매중단" link = item.find_element_by_css_selector("basicList_link__JLQJf > a").get_attribute('href') #아이템 가격 링크 (자식태그) print(name, price, link) #데이터 쓰기 csvWriter.writerow([name,price,link]) #파일 닫기 f.close() 안녕하세요. 먼저 좋은 강의 해주셔서 감사합니다.강의를 들으며 실습하던 중 2가지 에러 및 문의가 생겨서 문의글 올립니다...네이버 쇼핑 넘어가기도 전에 네이버 창이 종료되어버립니다.. 셀레니움 4.0 강의도 듣고 했는데도 마찬가지네요... csv, name 정의가 안되어있다고 뜨는데 왜이러는거죠ㅠㅠ변수인데 왜 이렇게 뜨는지 모르겠네요ㅠㅠ
- 미해결이것이 진짜 크롤링이다 - 기본편
네이버 로그인 hotkey 질문이요
네이버 아이디 비번 입력시 아이디란에 복붙한 게 안 나오고 ‘v’만 나옵니다. 비번은 제대로 입력되고요. 맥이고 ‘command’,’v’로 했어요!
- 미해결이것이 진짜 크롤링이다 - 기본편
주식현재가 오류 ㅠ
똑같이 했는데 오류나 가서 중간에 멈췄어요 ㅠㅠ
- 미해결이것이 진짜 크롤링이다 - 기본편
선생님 검색창 클릭을 못해요 ㅠ
선생님 검색창을 클릭을 못하고 있는데 코드 그대로 작성 헀는데 제 나름 오타를 찾아보겠다고 찾아 봤지만 놓쳤는지 뭐가 원인인지 모르겠어요ㅠㅠ코드는 이렇게 작성헀습니다.from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys import time # 브라우저 생성 browser = webdriver.Chrome('c:/chromedriver.exe') # mac 의 경우 /User/내거로/Documents/chromedriver # 웹 사이트 열기 browser.get('https://www.naver.com') browser.implicitly_wait(10) # 로딩이 끝날 때까지 10초 기다림 # 쇼핑 메뉴 클릭하기 browser.find_element(By.CSS_SELECTOR, "a.nav.shop").click() time.sleep(2) # 검색창 클릭 search = browser.find_element(By.CSS_SELECTOR, "input.co_srh_input._input") search.click() # 검색어 입력 search.send_keys("아이폰13") search.send_keys(Keys.ENTER) # 스크롤 전 높이. before_h = browser.execute_script("return window.scrollY") # 무한 스크롤 while True: #맨 아래로 스크롤을 내린다. browser.find_element(By.CSS_SELECTOR, "body").send_keys(Keys.END) # 스크롤 사이 페이지 로딩 시간 time.sleep(1) # 스크롤 후 높이 after_h = browser.execute_script("return window.scrollY") if after_h == before_h: break before_h = after_h #상품 정보 div items = browser.find_elements(By.CSS_SELECTOR, ".basicList_info_area__TWvzp") for item in items : name = item.find_elements(By.CSS_SELECTOR, ".basicList_title__VfX3c").text # text만 추출 pirce = item.find_elements(By.CSS_SELECTOR, ".price_num__S2p_v").text link = item.find_elements(By.CSS_SELECTOR, ".price_num__S2p_v > a").get_attribute('href') print(name, pirce, link)
- 미해결이것이 진짜 크롤링이다 - 기본편
Nonetype오류
엑셀에 저장이 되지 않는데 잘못된 부분이 어디일까요?