묻고 답해요
158만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
선생님 쓱닷컴이 바뀌었는데 이런형태는 처음이라서 문의 드립니다.
쓱닷컴 이벤트 주소는 아래와같습니다.https://shinsegaemall.ssg.com/event/eventMain.ssg?Sgnb=event 문제는 이벤트 페이지가 1, 2 이렇게 2개 존재합니다.문제는 1 페이지를 클릭하던2페이지를 클릭하던, 주소가 모두 같습니다. 1페이지 클릭시 -> https://shinsegaemall.ssg.com/event/eventMain.ssg?Sgnb=event2페이지 클릭시->https://shinsegaemall.ssg.com/event/eventMain.ssg?Sgnb=event 이럴때는 어떻게 해야하나요?셀레니움이 답일까요?
-
미해결12시간 안에 끝내는 파이썬을 활용한 크롤링
질문
안녕하세요,3강 네이버 글자 수집 듣고있는데, 도메인이 변경되어서요~아래와 같이 수집을 했는데 반응이 없습니다! 확인 부탁드립니다. :) 강의상에는 class 값이 nav 였지만 현재는 class = link_service 이렇게 되어있습니다.
-
해결됨일잘하는 마케터, MD에게 꼭 필요한 파이썬 데이터 분석
네이버쇼핑 리뷰 크롤링 관련 오류 문의
안녕하세요강의자료를 똑같이 복붙해서 따라했는데 아래 화면과 같이 오류가 나오네요.제가 참고한 강의자료는 [강의5_웹크롤링_20230316.ipynb]입니다.무슨 문제가 있는 걸까요?
-
해결됨[신규 개정판] 이것이 진짜 크롤링이다 - 기본편
강의 잘 듣고 있습니다~!
import datetimeimport pausefrom selenium import webdriverfrom selenium.common import WebDriverExceptionfrom selenium.webdriver.chrome.service import Servicefrom selenium.webdriver.common.by import Byfrom webdriver_manager.chrome import ChromeDriverManagerchromedriver_path = r'C:\workspace\chromedriver.exe'# 브라우저 생성# mac 의 경우 /User/내거로/Documents/chromedriverbrowser = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=webdriver.ChromeOptions())# 카페 열기browser.get('https://cafe.naver.com/joonggonara')# 2023년 6월 13일 10시 25분 00초까지 대기# pause.until(datetime.datetime(2023, 6, 14, 9, 29, 00))# 게시판 선택browser.find_element(By.ID, 'menuLink2418').click()# 게시판의 광고글 제외 글 들 가져오기list = browser.find_elements(By.CSS_SELECTOR, '#main-area > div:nth-child(4) > table > tbody > tr:nth-child(1) > td.td_article > div.board-list > div > a')print(list)# 게시판의 첫 번째 글 입장안녕하세요 크롤링 초보입니다.네이버 카페에서 정해둔 게시판에 들어가 각 글들을 들어가서 확인하는 프로그램을 개인적으로 만들어보고자 하는데 #게시판의 광고글 제외 글 들 가져오기부분에서 리스트에 담지 못하고 있어요 강의 내용 중 없는 부분이긴 하지만 3일동안 해결하지 못해서 여기에 올려봅니다 ㅠㅠ - 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
-
미해결[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
content와 text차이
패턴으로 실습하며 익히기: XML 포멧 이해와 공공데이터 Open API 로 미세먼지 정보 가져오기 (업데이트)5:53res.text보다 content가 더 좋다고 하셨는데 두 코드의 차이점이 뭐고 어떨때 어떤것을 쓰는게 좋을지 어떻게 판단하나요?
-
미해결[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
postman의 역할
크롤링을 위한 지식: 정부 제공 공공데이터 Open API 사용법 (업데이트)8:47 지난번 네이버openapi할때는 허겁지겁듣느라 잘 몰랐는데 poatman은 파이썬으로 확인할수 있는 openapi정보를 별도의 코딩없이 조금더 간편하게 확인할 수 있는 플랫폼인 건가요?
-
미해결[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
num질문
크롤링과 업무 자동화 기술: 네이버 Open API 활용, 네이버쇼핑 엑셀 보고서 만들기8:50num이라는 변수를 for index in range(10)밖에서 먼저 지정해줌으로써 전역변수가 되어서 for문이 반복되어도 초기화가 되지 않는 것을 이용한 것으로 봐도 되나요 약간 이부분이 어렵네요
-
미해결[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
res.json()질문
패턴으로 실습하며 익히기: 네이버 Open API 로 크롤링하기 8:30, 8:408:30에서 res.json한 결과값과8:40에서 data=res.json print(data)한 결과값이 왜 다른건가요??
-
미해결[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
requests.get함수
패턴으로 실습하며 익히기: 네이버 Open API 로 크롤링하기 7:20 제가 그동안 강의를 보면서 requests.get함수를 html정보를 가져오는 함수인줄 알았는데 그것이 아닌것을 깨달았습니다 requests.get함수가 어떤 역할을 하는것인지 검색해봐도 잘 이해가 가지 않는데 쉽게 설명해주실 수 있으신가요..?
-
미해결[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
크롤링 할때 select가져올때 질문
크롤링해서 엑셀 파일로 데이터 저장하기2 (업데이트)3:17select가져올때 기준이 애매합니다div.wrapfooter 하고 span.post-date해도되고아예그냥 span.post-date만 하면안되는 건가요?아니면 sapn.author-meta하고 span.post-date 이렇게 해도 되는 건가요?
-
미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
5.2강 주식 일별 시세 데이터 관련 질문이 있습니다
안녕하세요 5.2강 주식 일별 시세 데이터 part2 강의 중 select문을 find를 활용해서 바꾸는 걸 강의에서 다루시는데 이 부분에 대해서 궁금증이 있어서 질문합니다. 강의 중에는 tr_element1 을 tr_elemnt2로 바꾸시는 과정을 했는데, 복습 중에 tr_element3의 방법으로 실행을 시켜도 같은 결과값이 출력되는 것을 발견했습니다. tr_element2가 더 확실한 방법이어서, 강의 중에 그 방법만 다루신건가요?? 혹시 tr_element3의 방법으로 하면 안되는 특별한 이유가 있을까요?? 좋은 강의 정말 감사드립니다 : )
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
첫번째 페이지 크롤링하기 _ 실행안됨
2022.04.28 에 업데이트 해주신 코드를 그대로 긁어서 실행해도아래와 같이 터미널에 실행내역(?)만 뜨고 별도 아무 반응이 없는 것 같은데 해결방법 알려주시면 감사하겠습니다..! C:\startcoding> c: && cd c:\startcoding && cmd /C "C:\Users\yjeon019\AppData\Local\Programs\Python\Python310\python.exe c:\Users\yjeon019\.vscode\extensions\ms-python.python-2023.10.0\pythonFiles\lib\python\debugpy\adapter/../..\debugpy\launcher 65533 -- "c:\startcoding\Chapter08_쿠팡\01. 첫번째페이지크롤링.py" "
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
첫번째 페이지 크롤링하기
2022.04.28 에 업데이트 해주신 코드를 그대로 긁어서 실행해도아래와 같이 터미널에 실행내역(?)만 뜨고 별도 아무 반응이 없는 것 같은데 해결방법 알려주시면 감사하겠습니다..! C:\startcoding> c: && cd c:\startcoding && cmd /C "C:\Users\yjeon019\AppData\Local\Programs\Python\Python310\python.exe c:\Users\yjeon019\.vscode\extensions\ms-python.python-2023.10.0\pythonFiles\lib\python\debugpy\adapter/../..\debugpy\launcher 65533 -- "c:\startcoding\Chapter08_쿠팡\01. 첫번째페이지크롤링.py" "
-
미해결[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
css selector >질문
CSS selector 사용해서 크롤링하기2 (업데이트)1:53에서ul#dev_course_list>li.course.paid하셨는데ul#dev_course_list 바로아래에는 li.course.paid가 아니라li.course#begin이 있는 것아닌가요? 바로아래라는 >개념이 잘 이해가 안가네요
-
미해결[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
파싱에서 BeautifulSoup질문
패턴으로 실습하며 익히기: 크롤링 코드 패턴으로 익히기2 10:193번 웹페이지 파싱하기에서 BeautifulSoup(res.content,"html.parser") 에서질문이 있습니다 BeautifulSoup은 함수가 아니라 라이브러리인데BeautifulSoup(인자1,인자2)형태인지"html.parser"는 왜 따옴표를 붙여줘야하는지 BeautifulSoup( , )은 어떤 역할을 하는것인지입니다
-
미해결[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
bs4라이브러리
패턴으로 실습하며 익히기: 크롤링 코드 패턴으로 익히기1 from bs4 import BeautifulSoup에서 bs4라이브러리에서 BeautifulSoup를 가져오는게 이해가 안됩니다 원래는 일반적으로 라이브러리에서 함수를 가져오는데 이거는 라이브러리에서 라이브러리를 가져오네요 라이브러리 중에서도 더 큰 놈이 있고 작은놈이 있는건가요?
-
미해결[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
네이버 쇼핑 리뷰 크롤링 관련
네이버 스마트 스토어의 리뷰들을 크롤링해보려고 시도하던 중 잘 되지 않아 문의드립니다.강의에서 배운대로 개발자 도구 이용해서 html 정보(?)를 가져와서 상품명과 같은 상단의 내용들은 잘 가져와졌습니다.그런데, 리뷰쪽은 [] 으로 결과가 계속 나오고 있어 찾아보니 많은분들이 selenium 패키지를 써서 하더라구요..혹시 selenium으로 꼭 해야할까요?BeautifulSoup으로 select 로 추출할 수 없는 것인지 궁금합니다.
-
미해결[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
맥에서 설치 완료 후 아나콘다 네비게이터 실행이 안됩니다. ㅠㅠ
설치 완료 메세지가 떴는데, 막상 아나콘다 네비게이터 실행이 안됩니다.. ㅠㅠ유저네임도 소문자로 바꾸고,다운로드 위치도 /Users/sewon/anaconda3/Anaconda-Navigator.app위와 같이 시도해 봤는데 실행이 안됩니다.. ㅠㅠ강사님이 알려주신대로, 아나콘다 네비게이터 앱을 실행하면잠깐 하단에 아이콘이 생겼다 사라지고, 실행은 되지 않습니다.또, 아래 이미지와 같이 세부 폴더 안에 있는 아나콘다 네비게이터를 열면, 응용프로그램을 열 수 없다는 메세지가 뜹니다.어떻게 해결해야할까요? 네비게이터 없이 주피터 노트북을 실행할 수 있는 방법은 없을까요? 답변 부탁드립니다. ㅠㅠ
-
미해결[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
while 무한반복문 질문
문제를 풀며 가장 자연스럽게 익숙해지는 파이썬 기본: 반복문 익히기2 12:10while 1: 하면 무한반복이라 하셨는데요1은 참이고 0은 거짓이라고 해서 while 0:도 해보니 안되는것 확인했습니다 그런데 2나 3이나 "x" "a"이런것으로도 해보니 1처럼 다 무한반복이 되더라고요 이것들은 왜 그런 것인가요?
-
미해결파이썬 셀레니움 고급편 (python selenium - 크롤링, 크롤러)
User Agent Data 변경하는 법 강의에서 아래처럼 계속 오류가 생깁니다..
User Agent Data 변경하는 법 강의에서 아래처럼 계속 오류가 생깁니다.. 코드는 동일하게 입력한 것 같은데..왜 그런 걸까요..? selenium.common.exceptions.InvalidArgumentException: Message: invalid argument: Invalid parameters(Session info: chrome=114.0.5735.110) import requests from user_agents import parse from selenium import webdriver from selenium.webdriver.chrome.options import Options import chromedriver_autoinstaller import random, time, os chromedriver_autoinstaller.install() def make_user_agent(ua, is_mobile): user_agent = parse(ua) model = user_agent.device.model platform = user_agent.os.family platform_version = user_agent.os.version_string + ".0.0" # 모바일 기준이다 version = user_agent.browser.version[0] print('version: ', version) ua_full_version = user_agent.browser.version_string print('ua_full_version: ', ua_full_version) architecture = "x86" print(platform, ' platform') if is_mobile: platform_info = "Linux armv8l" else: # Window platform_info = "Win32" RET_USER_AGENT = { "appVersion" : ua.replace("Mozilla/", ""), "userAgent" : ua, "platform" : f"{platform_info}", "acceptLanguage": "ko-KR, kr, en-US, en", "userAgentMetadata": { "brands" : [ {'brand': 'Not.A/Brand', 'version': '8'}, {'brand': 'Chromium', 'version': '114'}, {'brand': 'Google Chrome', 'version':'114'} ], "fullVersion": f"{ua_full_version}", "platform" : platform, "platformVersion": platform_version, "architecture" : architecture, "model": model, "mobile": is_mobile } } return RET_USER_AGENT pc_device = ["1920,1440","1920,1200","1920,1080","1600,1200","1600,900", "1536,864", "1440,1080","1440,900","1360,768" ] mo_device = [ "360,640", "360,740", "375,667", "375,812", "412,732", "412,846", "412,869", "412,892", "412,915" ] width, height = random.choice(pc_device).split(",") UA = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36" options = Options() UA_Data = make_user_agent(UA, True) # 랜덤 쿠키 생성하기 # ** 1~100의 숫자 이름의 폴더 밑에 쿠키를 생성해서 저장한다 rand_user_folder = random.randrange(1, 100) userCookieDir = os.path.abspath(f"./cookies/{rand_user_folder }") if os.path.exists(userCookieDir) == False: print(userCookieDir, "폴더가 없어서 생성함") os.mkdir(userCookieDir) options.add_argument(f"user-data-dir={userCookieDir}") options.add_argument(f'--user-agent={UA}') options.add_argument(f'--window-size={width}, {height}') driver = webdriver.Chrome(options=options) driver.execute_cdp_cmd("Network.setUserAgentOverride", UA_Data) driver.get('https://google.com') driver.set_window_position(500, 500) input()