inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

묻고 답해요

173만명의 커뮤니티!! 함께 토론해봐요.

첫번째 페이지 크롤링하기

미해결

[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)

2022.04.28 에 업데이트 해주신 코드를 그대로 긁어서 실행해도 아래와 같이 터미널에 실행내역(?)만 뜨고 별도 아무 반응이 없는 것 같은데 해결방법 알려주시면 감사하겠습니다..! C:\startcoding> c: && cd c:\startcoding && cmd /C "C:\Users\yjeon019\AppData\Local\Programs\Python\Python310\python.exe c:\Users\yjeon019\.vscode\extensions\ms-python.python-2023.10.0\pythonFiles\lib\python\debugpy\adapter/../..\debugpy\launcher 65533 -- "c:\startcoding\Chapter08_ 쿠팡\01. 첫번째페이지크롤링.py " "

  • python
  • 웹-크롤링
alex5991 댓글 1 좋아요 0 조회수 328

css selector >질문

미해결

[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)

CSS selector 사용해서 크롤링하기2 (업데이트) 1:53에서 ul#dev_course_list>li.course.paid하셨는데 ul#dev_course_list 바로아래에는 li.course.paid가 아니라 li.course#begin이 있는 것아닌가요? 바로아래라는 >개념이 잘 이해가 안가네요

  • python
  • 웹-크롤링
이하윤 댓글 1 좋아요 0 조회수 280

파싱에서 BeautifulSoup질문

미해결

[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)

패턴으로 실습하며 익히기: 크롤링 코드 패턴으로 익히기2 10:19 3번 웹페이지 파싱하기에서 BeautifulSoup(res.content,"html.parser") 에서 질문이 있습니다 BeautifulSoup은 함수가 아니라 라이브러리인데 BeautifulSoup(인자1,인자2)형태인지 "html.parser"는 왜 따옴표를 붙여줘야하는지 BeautifulSoup( , )은 어떤 역할을 하는것인지 입니다

  • python
  • 웹-크롤링
이하윤 댓글 1 좋아요 0 조회수 339

bs4라이브러리

미해결

[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)

패턴으로 실습하며 익히기: 크롤링 코드 패턴으로 익히기1 from bs4 import BeautifulSoup에서 bs4라이브러리에서 BeautifulSoup를 가져오는게 이해가 안됩니다 원래는 일반적으로 라이브러리에서 함수를 가져오는데 이거는 라이브러리에서 라이브러리를 가져오네요 라이브러리 중에서도 더 큰 놈이 있고 작은놈이 있는건가요?

  • python
  • 웹-크롤링
이하윤 댓글 1 좋아요 0 조회수 311

네이버 쇼핑 리뷰 크롤링 관련

미해결

[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)

네이버 스마트 스토어의 리뷰들을 크롤링해보려고 시도하던 중 잘 되지 않아 문의드립니다. 강의에서 배운대로 개발자 도구 이용해서 html 정보(?)를 가져와서 상품명과 같은 상단의 내용들은 잘 가져와졌습니다. 그런데, 리뷰쪽은 [] 으로 결과가 계속 나오고 있어 찾아보니 많은분들이 selenium 패키지를 써서 하더라구요.. 혹시 selenium으로 꼭 해야할까요? BeautifulSoup으로 select 로 추출할 수 없는 것인지 궁금합니다.

  • python
  • 웹-크롤링
soojshin 댓글 1 좋아요 0 조회수 1597

맥에서 설치 완료 후 아나콘다 네비게이터 실행이 안됩니다. ㅠㅠ

미해결

[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)

설치 완료 메세지가 떴는데, 막상 아나콘다 네비게이터 실행이 안됩니다.. ㅠㅠ 유저네임도 소문자로 바꾸고, 다운로드 위치도 /Users/sewon/anaconda3/Anaconda-Navigator.app 위와 같이 시도해 봤는데 실행이 안됩니다.. ㅠㅠ 강사님이 알려주신대로, 아나콘다 네비게이터 앱을 실행하면 잠깐 하단에 아이콘이 생겼다 사라지고, 실행은 되지 않습니다. 또, 아래 이미지와 같이 세부 폴더 안에 있는 아나콘다 네비게이터를 열면, 응용프로그램을 열 수 없다는 메세지가 뜹니다. 어떻게 해결해야할까요? 네비게이터 없이 주피터 노트북을 실행할 수 있는 방법은 없을까요? 답변 부탁드립니다. ㅠㅠ

  • python
  • 웹-크롤링
김세원 댓글 2 좋아요 0 조회수 5176

while 무한반복문 질문

미해결

[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)

문제를 풀며 가장 자연스럽게 익숙해지는 파이썬 기본: 반복문 익히기2 12:10 while 1: 하면 무한반복이라 하셨는데요 1은 참이고 0은 거짓이라고 해서 while 0:도 해보니 안되는것 확인했습니다 그런데 2나 3이나 "x" "a"이런것으로도 해보니 1처럼 다 무한반복이 되더라고요 이것들은 왜 그런 것인가요?

  • python
  • 웹-크롤링
이하윤 댓글 1 좋아요 0 조회수 317

User Agent Data 변경하는 법 강의에서 아래처럼 계속 오류가 생깁니다..

미해결

파이썬 셀레니움 고급편 (python selenium - 크롤링, 크롤러)

User Agent Data 변경하는 법 강의에서 아래처럼 계속 오류가 생깁니다.. 코드는 동일하게 입력한 것 같은데.. 왜 그런 걸까요..? selenium.common.exceptions.InvalidArgumentException: Message: invalid argument: Invalid parameters (Session info: chrome=114.0.5735.110) import requests from user_agents import parse from selenium import webdriver from selenium.webdriver.chrome.options import Options import chromedriver_autoinstaller import random, time, os chromedriver_autoinstaller.install() def make_user_agent(ua, is_mobile): user_agent = parse(ua) model = user_agent.device.model platform = user_agent.os.family platform_version = user_agent.os.version_string + ".0.0" # 모바일 기준이다 version = user_agent.browser.version[0] print('version: ', version) ua_full_version = user_agent.browser.version_string print('ua_full_version: ', ua_full_version) architecture = "x86" print(platform, ' platform') if is_mobile: platform_info = "Linux armv8l" else: # Window platform_info = "Win32" RET_USER_AGENT = { "appVersion" : ua.replace("Mozilla/", ""), "userAgent" : ua, "platform" : f"{platform_info}", "acceptLanguage": "ko-KR, kr, en-US, en", "userAgentMetadata": { "brands" : [ {'brand': 'Not.A/Brand', 'version': '8'}, {'brand': 'Chromium', 'version': '114'}, {'brand': 'Google Chrome', 'version':'114'} ], "fullVersion": f"{ua_full_version}", "platform" : platform, "platformVersion": platform_version, "architecture" : architecture, "model": model, "mobile": is_mobile } } return RET_USER_AGENT pc_device = ["1920,1440","1920,1200","1920,1080","1600,1200","1600,900", "1536,864", "1440,1080","1440,900","1360,768" ] mo_device = [ "360,640", "360,740", "375,667", "375,812", "412,732", "412,846", "412,869", "412,892", "412,915" ] width, height = random.choice(pc_device).split(",") UA = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36" options = Options() UA_Data = make_user_agent(UA, True) # 랜덤 쿠키 생성하기 # ** 1~100의 숫자 이름의 폴더 밑에 쿠키를 생성해서 저장한다 rand_user_folder = random.randrange(1, 100) userCookieDir = os.path.abspath(f"./cookies/{rand_user_folder }") if os.path.exists(userCookieDir) == False: print(userCookieDir, "폴더가 없어서 생성함") os.mkdir(userCookieDir) options.add_argument(f"user-data-dir={userCookieDir}") options.add_argument(f'--user-agent={UA}') options.add_argument(f'--window-size={width}, {height}') driver = webdriver.Chrome(options=options) driver.execute_cdp_cmd("Network.setUserAgentOverride", UA_Data) driver.get('https://google.com') driver.set_window_position(500, 500) input()

  • 웹-크롤링
  • selenium
  • cdp
packet 댓글 2 좋아요 1 조회수 2394

에러가 너무 납니다.

미해결

업무 자동화를 위한 파이썬 pyautogui, beautifulsoup 크롤링 기초

맥북을 사용하는 유저인데, pyautogui.click (i) File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyautogui/__init__.py", line 594, in wrapper returnVal = wrappedFunction(*args, **kwargs) File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyautogui/__init__.py", line 985, in click x, y = _normalizeXYArgs(x, y) File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyautogui/__init__.py", line 663, in _normalizeXYArgs location = locateOnScreen(firstArg) File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyautogui/__init__.py", line 172, in wrapper return wrappedFunction(*args, **kwargs) File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyautogui/__init__.py", line 210, in locateOnScreen return pyscreeze.locateOnScreen(*args, **kwargs) File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyscreeze/__init__.py", line 375, in locateOnScreen screenshotIm = screenshot( File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyscreeze/__init__.py", line 527, in screenshot osx if tuple(PIL__version__) < (6, 2, 1): TypeError: '<' not supported between instances of 'str' and 'int' 아래와 같은 에러가 지속적으로 발생하는데 무엇이 문제일까요?

  • python
  • 웹-크롤링
몰러난 댓글 1 좋아요 0 조회수 712

"쿠팡 제품 검색 결과 크롤링" 강의를 응용해서 타오바오 사이트에서 해보려고 하는데,,

미해결

실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용

"쿠팡 제품 검색 결과 크롤링" 강의를 응용해서 타오바오 사이트에서 해보려고 하는데, 자꾸 안돼서 아래와 같이 print(html) 했더니 뭔가 차단된거 같은 html 막 쭉 뜨네요 이럴때는 어떻게 해야하나요? req = requests.get(links, timeout=5, headers=headers, cookies=cookie) html = req.text soup = BeautifulSoup(html, "html.parser") print(html)

  • python
  • 웹-크롤링
  • selenium
  • beautifulsoup
울랄라 댓글 2 좋아요 0 조회수 1016

심화 학습

해결됨

[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)

안녕하세요. 강의 잘 들었습니다. 대부분의 사이트는 셀레니움과 bs4, requests 를 조합하면 정보를 가져올 수 있지만, 문제는 동적 사이트의 경우 시간이 걸린다는 점 입니다. 예를 들어, 네이버 지도를 대상으로 필요한 데이터를 가져올 때, 저의 경우는 100개의 가게 정보를 모두 가져오는데 5~6분 정도가 소요되는 반면, 크롤링을 전문적으로 하시는 분들은 더 빠르게 작업을 완료하시는 것 같더라구요. 자세히는 모르겠지만 패킷 등등의 기술을 활용하시는 것 같은데, 이런 내용을 학습할 수 있는 방법이 있을까요? 크롤링을 활용해서 부업을 하려고 했는데, 막상 전문적으로 하시는 분들을 보니, 상대가 될 것 같지 않은 답답한 마음에 질문 드렸습니다.

  • python
  • 웹-크롤링
댓글 2 좋아요 0 조회수 330

실습 엑셀 파일 문의

해결됨

일잘하는 마케터, MD에게 꼭 필요한 파이썬 데이터 분석

섹션 5 프로펫 강의에 있는 '주방용품 매출' 데이터는 어디서 받을 수 있나요?? 항상 링크로 남겨주셨는데 보이지 않아 문의드립니다.!

  • python
  • 웹-크롤링
박수민 댓글 1 좋아요 0 조회수 255

파이썬 설치 관련문의

미해결

[신규 개정판] 이것이 진짜 크롤링이다 - 기본편

명령창에서 python치면 microsoft store 설치하라고뜨는데 이게 맞나요?

  • python
  • 웹-크롤링
장성민 댓글 1 좋아요 0 조회수 351

추가 강의 좀 올려주시면 감사하겠습니다^^

해결됨

[웹 개발 풀스택 코스] Node.js 프로젝트 투입 일주일 전 - 기초에서 실무까지

[섹션0_Node.js 기초 다지기] 파트에서 MySQL 연동하기 동영상 강좌에는 13_app_mysql.js 파일까지 강의가 진행되었는데 정적파일처리 영상을 보게 되면 16_static.js로 강의부터 강의가 진행되다보니 뭔가 좀 이상하다 싶어 우연히 발견하게 되었습니다. 14_route.js 파일 영상과 15_app_route_module에 관련된 동영상 강의가 없어서 문의 드립니다.

  • node.js
  • mysql
  • mongodb
  • express
  • 웹-크롤링
  • socket.io
김지환 댓글 1 좋아요 0 조회수 434

오류가떠요

미해결

[신규 개정판] 이것이 진짜 크롤링이다 - 기본편

- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.

  • python
  • 웹-크롤링
장성민 댓글 1 좋아요 0 조회수 317

오류가떠요!!!

미해결

[신규 개정판] 이것이 진짜 크롤링이다 - 기본편

- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.

  • python
  • 웹-크롤링
장성민 댓글 1 좋아요 0 조회수 414

코드진행이 안되는데 어떻게하죠?

미해결

[신규 개정판] 이것이 진짜 크롤링이다 - 기본편

분명 뷰티풀수프랑 bs4도 request 도 다 깔렸는데 실행 자체가 안돼요 미치겠네요 혹시 다른버전인지도 확인해봤는데 다 눌러봐도 다 실행이 안돼요 이거 어떻게해야하죠? 파이썬 리셋시키고 하는방법이 있나요?

  • python
  • 웹-크롤링
dbduswns95 댓글 1 좋아요 0 조회수 445

맥 os에서 폰트 경로 지정*코랩 사용

미해결

파이썬 텍스트 분석 입문 - 데이터 수집부터 분석까지

안녕하세요 코랩으로 공부중입니다. 워드클라우드 작성시 font_path="C:/windows/fonts/malgun.ttf 폰트 경로를 지정해줘야 하는데 운영체제가 mac 일경우에는 폰트 지정을 어떻게 해야하나요? 폰트 지정을 안하니 글자까 개져서 나와요

  • pandas
  • 웹-크롤링
  • anaconda
  • 텍스트마이닝
kakarote5050 댓글 1 좋아요 0 조회수 1288

질문 : for문 풀어쓰기

미해결

파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기

안녕하세요. 선생님. 해당 강의에서 아래와 같이 for문을 한줄에 쓰셨는데요? FAANG=["META", "AMZN", "AAPL", "NFLX", "GOOGL"] faang_list=[fdr.DataReader(code,'2015','2021')["Close"]for code in FAANG] df_faang=pd.concat(faang_list, axis=1) 제가 이걸 으로 시작해서 두줄에 풀어썼는데... 에러가 나는데요? 혹시 어느 부분이 잘못되었는지 알려주실수 있으신지요? FAANG=["META", "AMZN", "AAPL", "NFLX", "GOOGL"] for code in FAANG: faang_list=[fdr.DataReader(code,'2015','2021')["Close"]for code in FAANG] df_faang=pd.concat(faang_list, axis=1)

  • python
  • pandas
  • numpy
  • 웹-크롤링
  • seaborn
  • plotly
  • matplotlib
  • 웹-스크래핑
lcw07 댓글 1 좋아요 0 조회수 529

파이참에서 Plotly 그래프 실행방법

미해결

파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기

안녕하세요. 선생님. 저는 파이참을 주로 사용중이어서, 파이참으로 실습중입니다. Plotly의 경우 fig.show ()를 하면 웹페이지만 나타나고, 아무런 실행이 안됩니다. 파이참에서 plotly 그래프를 실행하려면 어떻게 해야하나요?

  • python
  • pandas
  • numpy
  • 웹-크롤링
  • seaborn
  • plotly
  • matplotlib
  • 웹-스크래핑
lcw07 댓글 1 좋아요 0 조회수 1346

인기 태그

인프런 TOP Writers

주간 인기글