안녕하세요.문의드려요. 실전으로 쇼핑몰들 크롤링 해보고 있는데요.상품 상세 페이지라면 가격, 브랜드명 이런건 되는데,상품 상세 정보 부분은 크롤링이 안되더라고요. 지그재그 등header에 에이전트 모질라 넣어도 안되고.. 그리고 어떤 사이트는 res.statusCode 찍어보면 403이나 404가 오는 사이트도 있고.. 위 두가지 유형처럼 막혀있을 경우  뚫을 수 있는 방법이 있을까요?

강의 내용 외 개인적인 실습 사이트의 질문은 답변이 제공되지 않습니다.문제가 생긴 코드, 에러 메세지 등을 꼭 같이 올려주셔야 빠른 답변이 가능합니다.답변은 바로 제공되지 않을 수 있습니다.실력 향상을 위해서는 직접 고민하고 검색해가며 해결하는 게 가장 좋습니다.셀레니움으로 알리익스프레스 로그인하려고 xpath 따서 해봐도 잘안되네요……

첨부대로 따라하고 실행 후 input값 입력하면 저렇게 [] 리스트만 출력되거나, 아예 아무것도 나타나지 않아요. 뭐가 문제일까요?

from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.chrome.options import Options from selenium.webdriver.common.by import By # 크롬 드라이버 자동 업데이트 from webdriver_manager.chrome import ChromeDriverManager import time import pyautogui import pyperclip # 브라우저 꺼짐 방지 chrome_options = Options() chrome_options.add_experimental_option("detach", True) #불필요한 에러 메시지 없애기 chrome_options.add_experimental_option("excludeSwitches", ["enable-logging"]) service = Service(executable_path=ChromeDriverManager().install()) driver = webdriver.Chrome(service=service, options=chrome_options) # 웹페이지 해당 주소 이동 driver.implicitly_wait(5) driver.maximize_window() driver.get("https://nid.naver.com/nidlogin.login") # 아이디 입력창 id = driver.find_element(By.CSS_SELECTOR, "#id") id.click() pyperclip.copy("******") pyautogui.hotkey("command", "v") time.sleep(2) # 비밀번호 입력창 pw = driver.find_element(By.CSS_SELECTOR, "#pw") pw.click() pyperclip.copy("********") pyautogui.hotkey("command", "v") time.sleep(2) # 로그인 버튼 login_btn = driver.find_element(By.CSS_SELECTOR, "#log\.login") login_btn.click()   로그인과 비밀번호 실행할 때마다 v로 아님 없음으로 또는 비밀번호만 눌러지고 하네요 정확도가 많이 떨어집니다.

안녕하십니까? '(BONUS) 셀레니움 ver 4.0 가이드 + 크롬 드라이버 자동으로 다운 받는 법' 수업중입니다.셀레니움 기본설정을 한 후 실행을 하면 스크린샷같은 오류가 발생되서 문의 드려봅니다.

안녕하세요.현재 mysql 연동하기 강의를 듣고 있는데, sql 워크벤치에서 어떻게 칼럼을 넣어야 하는지 알수있을까요?

const puppeteer = require('puppeteer'); const dotenv = require('dotenv'); dotenv.config(); const crawler = async () => { try { const browser = await puppeteer.launch({ headless: false, args: ['--window-size=1920,1080', '--disable-notifications'] }); const page = await browser.newPage(); await page.setViewport({ width: 1080, height: 1080, }); await page.goto('https://search.naver.com/search.naver?where=nexearch&sm=top_hty&fbm=0&ie=utf8&query=서울+지게차'); await page.waitFor(3000); await page.evaluate(() => { window.scrollBy(0, 1500); document.querySelector('#loc-main-section-root > section > div > div.api_more_wrap > a').click(); }); await page.waitFor(3000); await page.waitFor(3000); await page.evaluate(() => { document.querySelector('#_pcmap_list_scroll_container > ul > li:nth-child(1) > div.qbGlu > div.ouxiq.icT4K > div > div > span > a > span.hClKF').click(); }); await page.waitFor(3000); await page.evaluate(() => { document.querySelector('#_pcmap_list_scroll_container > ul > li:nth-child(1) > div.qbGlu > div.ouxiq.icT4K > div > div > div > div:nth-child(1) > span.RUjqr > a').click(); }); } catch (e) { console.error(e); } }; crawler();  Error: Evaluation failed: TypeError: Cannot read properties of null (reading 'click') at __puppeteer_evaluation_script__:2:151 at ExecutionContext._evaluateInternal (/Users/youssi/Downloads/nodejs-crawler-master/lecture/node_modules/puppeteer/lib/ExecutionContext.js:122:13) at processTicksAndRejections (node:internal/process/task_queues:96:5) at async ExecutionContext.evaluate (/Users/youssi/Downloads/nodejs-crawler-master/lecture/node_modules/puppeteer/lib/ExecutionContext.js:48:12) at async crawler (/Users/youssi/Downloads/nodejs-crawler-master/lecture/index.js:53:5) -- ASYNC -- at ExecutionContext.<anonymous> (/Users/youssi/Downloads/nodejs-crawler-master/lecture/node_modules/puppeteer/lib/helper.js:111:15) at DOMWorld.evaluate (/Users/youssi/Downloads/nodejs-crawler-master/lecture/node_modules/puppeteer/lib/DOMWorld.js:112:20) -- ASYNC -- at Frame.<anonymous> (/Users/youssi/Downloads/nodejs-crawler-master/lecture/node_modules/puppeteer/lib/helper.js:111:15) at Page.evaluate (/Users/youssi/Downloads/nodejs-crawler-master/lecture/node_modules/puppeteer/lib/Page.js:833:43) at Page.<anonymous> (/Users/youssi/Downloads/nodejs-crawler-master/lecture/node_modules/puppeteer/lib/helper.js:112:23) at crawler (/Users/youssi/Downloads/nodejs-crawler-master/lecture/index.js:53:16) 에러가 납니다. 구글 개발자도구에서 select an element~~~ 누르고 나서야 document.querySelector('#_pcmap_list_scroll_container > ul > li:nth-child(1) > div.qbGlu > div.ouxiq.icT4K > div > div > span > a > span.hClKF').click(); });위 소스가 정상적으로 작동을 합니다. 찾아보니 Javascript를 사용하여 브라우저에서 렌더링하는 웹 페이지를 가져오려고 합니다. 즉, Http Request Node를 사용하여 수신하는 초기 응답에 현재 검색 중인 데이터가 포함되지 않습니다. 당신의 데이터는 자바스크립트 안에 로드되어 브라우저에 의해 html에 삽입될 것입니다.이것과 비슷한 거 같습니다. 크롤링이 안되는 것일까요??

2달 전에 수업을 듣고 이제 네이버 지도를 크롤링을 하려고 하는데 noscript때문인지크롤링이 안되네요?혹시 noscript는 크롤링을 할 수 있는 방법이 있나요?

네이버 자체가 안켜져요,, 경로 설정이 잘못되었다는데,,, 경로는 맞거든요,,,,뭘까요 선생님,,,,

 안녕하세요!크롬 드라이버 자동 업데이트 아래에 명령어를 넣었는데 노란줄이 뜨고 인식이 안되네요.이럴 경우엔 무엇이 잘못 된 건지 궁금합니다. ㅜㅜ 

쓱닷컴 이벤트 주소는 아래와같습니다.https://shinsegaemall.ssg.com/event/eventMain.ssg?Sgnb=event 문제는 이벤트 페이지가 1, 2 이렇게 2개 존재합니다.문제는 1 페이지를 클릭하던2페이지를 클릭하던, 주소가 모두 같습니다. 1페이지 클릭시 -> https://shinsegaemall.ssg.com/event/eventMain.ssg?Sgnb=event2페이지 클릭시->https://shinsegaemall.ssg.com/event/eventMain.ssg?Sgnb=event 이럴때는 어떻게 해야하나요?셀레니움이 답일까요?

안녕하세요,3강 네이버 글자 수집 듣고있는데, 도메인이 변경되어서요~아래와 같이 수집을 했는데 반응이 없습니다! 확인 부탁드립니다. :) 강의상에는 class 값이 nav 였지만 현재는 class = link_service 이렇게 되어있습니다.

안녕하세요강의자료를 똑같이 복붙해서 따라했는데 아래 화면과 같이 오류가 나오네요.제가 참고한 강의자료는 [강의5_웹크롤링_20230316.ipynb]입니다.무슨 문제가 있는 걸까요?

import datetimeimport pausefrom selenium import webdriverfrom selenium.common import WebDriverExceptionfrom selenium.webdriver.chrome.service import Servicefrom selenium.webdriver.common.by import Byfrom webdriver_manager.chrome import ChromeDriverManagerchromedriver_path = r'C:\workspace\chromedriver.exe'# 브라우저 생성# mac 의 경우 /User/내거로/Documents/chromedriverbrowser = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=webdriver.ChromeOptions())# 카페 열기browser.get('https://cafe.naver.com/joonggonara')# 2023년 6월 13일 10시 25분 00초까지 대기# pause.until(datetime.datetime(2023, 6, 14, 9, 29, 00))# 게시판 선택browser.find_element(By.ID, 'menuLink2418').click()# 게시판의 광고글 제외 글 들 가져오기list = browser.find_elements(By.CSS_SELECTOR, '#main-area > div:nth-child(4) > table > tbody > tr:nth-child(1) > td.td_article > div.board-list > div > a')print(list)# 게시판의 첫 번째 글 입장안녕하세요 크롤링 초보입니다.네이버 카페에서 정해둔 게시판에 들어가 각 글들을 들어가서 확인하는 프로그램을 개인적으로 만들어보고자 하는데 #게시판의 광고글 제외 글 들 가져오기부분에서 리스트에 담지 못하고 있어요 강의 내용 중 없는 부분이긴 하지만 3일동안 해결하지 못해서 여기에 올려봅니다 ㅠㅠ  - 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.

패턴으로 실습하며 익히기: XML 포멧 이해와 공공데이터 Open API 로 미세먼지 정보 가져오기 (업데이트)5:53res.text보다 content가 더 좋다고 하셨는데 두 코드의 차이점이 뭐고 어떨때 어떤것을 쓰는게 좋을지 어떻게 판단하나요?

크롤링을 위한 지식: 정부 제공 공공데이터 Open API 사용법 (업데이트)8:47 지난번 네이버openapi할때는 허겁지겁듣느라 잘 몰랐는데 poatman은 파이썬으로 확인할수 있는 openapi정보를 별도의 코딩없이 조금더 간편하게 확인할 수 있는 플랫폼인 건가요?

크롤링과 업무 자동화 기술: 네이버 Open API 활용, 네이버쇼핑 엑셀 보고서 만들기8:50num이라는 변수를 for index in range(10)밖에서 먼저 지정해줌으로써 전역변수가 되어서 for문이 반복되어도 초기화가 되지 않는 것을 이용한 것으로 봐도 되나요 약간 이부분이 어렵네요

패턴으로 실습하며 익히기: 네이버 Open API 로 크롤링하기 8:30, 8:408:30에서 res.json한 결과값과8:40에서 data=res.json print(data)한 결과값이 왜 다른건가요??

패턴으로 실습하며 익히기: 네이버 Open API 로 크롤링하기 7:20 제가 그동안 강의를 보면서 requests.get함수를 html정보를 가져오는 함수인줄 알았는데 그것이 아닌것을 깨달았습니다 requests.get함수가 어떤 역할을 하는것인지 검색해봐도 잘 이해가 가지 않는데 쉽게 설명해주실 수 있으신가요..?

크롤링해서 엑셀 파일로 데이터 저장하기2 (업데이트)3:17select가져올때 기준이 애매합니다div.wrapfooter 하고 span.post-date해도되고아예그냥 span.post-date만 하면안되는 건가요?아니면 sapn.author-meta하고 span.post-date 이렇게 해도 되는 건가요?