크롤링과 업무 자동화 기술: 네이버 Open API 활용, 네이버쇼핑 엑셀 보고서 만들기8:50num이라는 변수를 for index in range(10)밖에서 먼저 지정해줌으로써 전역변수가 되어서 for문이 반복되어도 초기화가 되지 않는 것을 이용한 것으로 봐도 되나요 약간 이부분이 어렵네요

패턴으로 실습하며 익히기: 네이버 Open API 로 크롤링하기 8:30, 8:408:30에서 res.json한 결과값과8:40에서 data=res.json print(data)한 결과값이 왜 다른건가요??

패턴으로 실습하며 익히기: 네이버 Open API 로 크롤링하기 7:20 제가 그동안 강의를 보면서 requests.get함수를 html정보를 가져오는 함수인줄 알았는데 그것이 아닌것을 깨달았습니다 requests.get함수가 어떤 역할을 하는것인지 검색해봐도 잘 이해가 가지 않는데 쉽게 설명해주실 수 있으신가요..?

크롤링해서 엑셀 파일로 데이터 저장하기2 (업데이트)3:17select가져올때 기준이 애매합니다div.wrapfooter 하고 span.post-date해도되고아예그냥 span.post-date만 하면안되는 건가요?아니면 sapn.author-meta하고 span.post-date 이렇게 해도 되는 건가요? 

안녕하세요 5.2강 주식 일별 시세 데이터 part2 강의 중 select문을 find를 활용해서 바꾸는 걸 강의에서 다루시는데 이 부분에 대해서 궁금증이 있어서 질문합니다.   강의 중에는 tr_element1 을 tr_elemnt2로 바꾸시는 과정을 했는데, 복습 중에 tr_element3의 방법으로 실행을 시켜도 같은 결과값이 출력되는 것을 발견했습니다. tr_element2가 더 확실한 방법이어서, 강의 중에 그 방법만 다루신건가요?? 혹시 tr_element3의 방법으로 하면 안되는 특별한 이유가 있을까요?? 좋은 강의 정말 감사드립니다 : )

2022.04.28 에 업데이트 해주신 코드를 그대로 긁어서 실행해도아래와 같이 터미널에 실행내역(?)만 뜨고 별도 아무 반응이 없는 것 같은데 해결방법 알려주시면 감사하겠습니다..! C:\startcoding> c: && cd c:\startcoding && cmd /C "C:\Users\yjeon019\AppData\Local\Programs\Python\Python310\python.exe c:\Users\yjeon019\.vscode\extensions\ms-python.python-2023.10.0\pythonFiles\lib\python\debugpy\adapter/../..\debugpy\launcher 65533 -- "c:\startcoding\Chapter08_쿠팡\01. 첫번째페이지크롤링.py" " 

2022.04.28 에 업데이트 해주신 코드를 그대로 긁어서 실행해도아래와 같이 터미널에 실행내역(?)만 뜨고 별도 아무 반응이 없는 것 같은데 해결방법 알려주시면 감사하겠습니다..! C:\startcoding> c: && cd c:\startcoding && cmd /C "C:\Users\yjeon019\AppData\Local\Programs\Python\Python310\python.exe c:\Users\yjeon019\.vscode\extensions\ms-python.python-2023.10.0\pythonFiles\lib\python\debugpy\adapter/../..\debugpy\launcher 65533 -- "c:\startcoding\Chapter08_쿠팡\01. 첫번째페이지크롤링.py" "  

CSS selector 사용해서 크롤링하기2 (업데이트)1:53에서ul#dev_course_list>li.course.paid하셨는데ul#dev_course_list 바로아래에는 li.course.paid가 아니라li.course#begin이 있는 것아닌가요? 바로아래라는 >개념이 잘 이해가 안가네요 

패턴으로 실습하며 익히기: 크롤링 코드 패턴으로 익히기2 10:193번 웹페이지 파싱하기에서 BeautifulSoup(res.content,"html.parser") 에서질문이 있습니다 BeautifulSoup은 함수가 아니라 라이브러리인데BeautifulSoup(인자1,인자2)형태인지"html.parser"는 왜 따옴표를 붙여줘야하는지 BeautifulSoup( , )은 어떤 역할을 하는것인지입니다

패턴으로 실습하며 익히기: 크롤링 코드 패턴으로 익히기1 from bs4 import BeautifulSoup에서 bs4라이브러리에서 BeautifulSoup를 가져오는게 이해가 안됩니다 원래는 일반적으로 라이브러리에서 함수를 가져오는데 이거는 라이브러리에서 라이브러리를 가져오네요 라이브러리 중에서도 더 큰 놈이 있고 작은놈이 있는건가요?

네이버 스마트 스토어의 리뷰들을 크롤링해보려고 시도하던 중 잘 되지 않아 문의드립니다.강의에서 배운대로 개발자 도구 이용해서 html 정보(?)를 가져와서 상품명과 같은 상단의 내용들은 잘 가져와졌습니다.그런데, 리뷰쪽은 [] 으로 결과가 계속 나오고 있어 찾아보니 많은분들이 selenium 패키지를 써서 하더라구요..혹시 selenium으로 꼭 해야할까요?BeautifulSoup으로 select 로 추출할 수 없는 것인지 궁금합니다.

설치 완료 메세지가 떴는데, 막상 아나콘다 네비게이터 실행이 안됩니다.. ㅠㅠ유저네임도 소문자로 바꾸고,다운로드 위치도 /Users/sewon/anaconda3/Anaconda-Navigator.app위와 같이 시도해 봤는데 실행이 안됩니다.. ㅠㅠ강사님이 알려주신대로, 아나콘다 네비게이터 앱을 실행하면잠깐 하단에 아이콘이 생겼다 사라지고, 실행은 되지 않습니다.또, 아래 이미지와 같이 세부 폴더 안에 있는 아나콘다 네비게이터를 열면, 응용프로그램을 열 수 없다는 메세지가 뜹니다.어떻게 해결해야할까요? 네비게이터 없이 주피터 노트북을 실행할 수 있는 방법은 없을까요? 답변 부탁드립니다. ㅠㅠ

문제를 풀며 가장 자연스럽게 익숙해지는 파이썬 기본: 반복문 익히기2 12:10while 1: 하면 무한반복이라 하셨는데요1은 참이고 0은 거짓이라고 해서 while 0:도 해보니 안되는것 확인했습니다 그런데 2나 3이나 "x" "a"이런것으로도 해보니 1처럼 다 무한반복이 되더라고요 이것들은 왜 그런 것인가요?

 User Agent Data 변경하는 법 강의에서 아래처럼 계속 오류가 생깁니다.. 코드는 동일하게 입력한 것 같은데..왜 그런 걸까요..? selenium.common.exceptions.InvalidArgumentException: Message: invalid argument: Invalid parameters(Session info: chrome=114.0.5735.110)     import requests from user_agents import parse from selenium import webdriver from selenium.webdriver.chrome.options import Options import chromedriver_autoinstaller import random, time, os chromedriver_autoinstaller.install() def make_user_agent(ua, is_mobile): user_agent = parse(ua) model = user_agent.device.model platform = user_agent.os.family platform_version = user_agent.os.version_string + ".0.0" # 모바일 기준이다 version = user_agent.browser.version[0] print('version: ', version) ua_full_version = user_agent.browser.version_string print('ua_full_version: ', ua_full_version) architecture = "x86" print(platform, ' platform') if is_mobile: platform_info = "Linux armv8l" else: # Window platform_info = "Win32" RET_USER_AGENT = { "appVersion" : ua.replace("Mozilla/", ""), "userAgent" : ua, "platform" : f"{platform_info}", "acceptLanguage": "ko-KR, kr, en-US, en", "userAgentMetadata": { "brands" : [ {'brand': 'Not.A/Brand', 'version': '8'}, {'brand': 'Chromium', 'version': '114'}, {'brand': 'Google Chrome', 'version':'114'} ], "fullVersion": f"{ua_full_version}", "platform" : platform, "platformVersion": platform_version, "architecture" : architecture, "model": model, "mobile": is_mobile } } return RET_USER_AGENT pc_device = ["1920,1440","1920,1200","1920,1080","1600,1200","1600,900", "1536,864", "1440,1080","1440,900","1360,768" ] mo_device = [ "360,640", "360,740", "375,667", "375,812", "412,732", "412,846", "412,869", "412,892", "412,915" ] width, height = random.choice(pc_device).split(",") UA = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36" options = Options() UA_Data = make_user_agent(UA, True) # 랜덤 쿠키 생성하기 # ** 1~100의 숫자 이름의 폴더 밑에 쿠키를 생성해서 저장한다 rand_user_folder = random.randrange(1, 100) userCookieDir = os.path.abspath(f"./cookies/{rand_user_folder }") if os.path.exists(userCookieDir) == False: print(userCookieDir, "폴더가 없어서 생성함") os.mkdir(userCookieDir) options.add_argument(f"user-data-dir={userCookieDir}") options.add_argument(f'--user-agent={UA}') options.add_argument(f'--window-size={width}, {height}') driver = webdriver.Chrome(options=options) driver.execute_cdp_cmd("Network.setUserAgentOverride", UA_Data) driver.get('https://google.com') driver.set_window_position(500, 500) input()

맥북을 사용하는 유저인데,pyautogui.click(i) File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyautogui/__init__.py", line 594, in wrapper returnVal = wrappedFunction(*args, **kwargs) File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyautogui/__init__.py", line 985, in click x, y = _normalizeXYArgs(x, y) File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyautogui/__init__.py", line 663, in _normalizeXYArgs location = locateOnScreen(firstArg) File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyautogui/__init__.py", line 172, in wrapper return wrappedFunction(*args, **kwargs) File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyautogui/__init__.py", line 210, in locateOnScreen return pyscreeze.locateOnScreen(*args, **kwargs) File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyscreeze/__init__.py", line 375, in locateOnScreen screenshotIm = screenshot( File "/Users/kimkitae/opt/anaconda3/lib/python3.9/site-packages/pyscreeze/__init__.py", line 527, in screenshotosx if tuple(PIL__version__) < (6, 2, 1):TypeError: '<' not supported between instances of 'str' and 'int' 아래와 같은 에러가 지속적으로 발생하는데 무엇이 문제일까요?

"쿠팡 제품 검색 결과 크롤링" 강의를 응용해서 타오바오 사이트에서 해보려고 하는데,자꾸 안돼서 아래와 같이 print(html) 했더니뭔가 차단된거 같은 html 막 쭉 뜨네요 이럴때는어떻게 해야하나요?req = requests.get(links, timeout=5, headers=headers, cookies=cookie)html = req.textsoup = BeautifulSoup(html, "html.parser")print(html)  

안녕하세요.강의 잘 들었습니다.대부분의 사이트는 셀레니움과 bs4, requests 를 조합하면 정보를 가져올 수 있지만, 문제는 동적 사이트의 경우 시간이 걸린다는 점 입니다.예를 들어, 네이버 지도를 대상으로 필요한 데이터를 가져올 때, 저의 경우는 100개의 가게 정보를 모두 가져오는데 5~6분 정도가 소요되는 반면, 크롤링을 전문적으로 하시는 분들은 더 빠르게 작업을 완료하시는 것 같더라구요.자세히는 모르겠지만 패킷 등등의 기술을 활용하시는 것 같은데, 이런 내용을 학습할 수 있는 방법이 있을까요?크롤링을 활용해서 부업을 하려고 했는데, 막상 전문적으로 하시는 분들을 보니, 상대가 될 것 같지 않은 답답한 마음에 질문 드렸습니다.

섹션 5 프로펫 강의에 있는 '주방용품 매출' 데이터는 어디서 받을 수 있나요?? 항상 링크로 남겨주셨는데 보이지 않아 문의드립니다.!

명령창에서 python치면 microsoft store 설치하라고뜨는데 이게 맞나요?

[섹션0_Node.js 기초 다지기] 파트에서MySQL 연동하기 동영상 강좌에는 13_app_mysql.js 파일까지 강의가 진행되었는데정적파일처리 영상을 보게 되면 16_static.js로 강의부터 강의가 진행되다보니뭔가 좀 이상하다 싶어 우연히 발견하게 되었습니다.14_route.js 파일 영상과 15_app_route_module에 관련된 동영상 강의가 없어서 문의 드립니다.