수강이 제한됩니다.
다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
start_urls = ['']가 제공해주신 것과 다르게 작동합니다.
영상의 8분 즈음에서 cmd 창에서, C:\Users\junyo\잔재미코딩\최종 복습\mynaverapi\mynaverapi>scrapy genspider navershopapi openapi.naver.com/v1/search/shop.json 작성하면, cmd 창에 Created spider 'navershopapi' using template 'basic' in module: mynaverapi.spiders.navershopapi 이렇게 뜨고, navershopapi.py가 생성됩니다. navershopapi.py 파일을 보면 class NavershopapiSpider(scrapy.Spider): name = 'navershopapi' allowed_domains = ['openapi.naver.com'] start_urls = ['http://openapi.naver.com/'] 이렇게 뜹니다. 제공해주신 파일의 navershopapi.py 에서는 class NavershopapiSpider(scrapy.Spider): name = 'navershopapi' allowed_domains = ['openapi.naver.com/v1/search/shop.json'] start_urls = ['https://openapi.naver.com/v1/search/shop.json'] 처럼 start_urls가 다르게 나옵니다. 물론, 제공한 파일의 start_urls로 변경해서 저장한 뒤에 실행하면 문제 없습니다. 다만, 왜 start_urls에 제가 cmd 창에서 명령한 대로 작동되지 않는 지 궁금합니다.
- 미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
json, data = json.loads(response.body_as_unicode()) 부분에 문제가 있는 것 같습니다.
5분 19초에서 진행하고 있는 부분에 대한 질문입니다. cmd 에서 실행하면 , 2022-05-26 16:50:53 [scrapy.core.scraper] ERROR: Spider error processing <GET https://openapi.naver.com/v1/search/shop.json?query=iphone> (referer: None) 이러한 오류코드가 나타납니다. navershopapi_item.py 에서 def parse(self, response): data = json.loads(response.body_as_unicode()) for item in data['items']: print(item['title']) 중 이 코드, data = json.loads(response.body_as_unicode()) 의 boby_as_uncode() 이 부분이 제대로 작동하는 것 같지 않아요. (보통 색이 바뀌는데 안 바뀌어요) 처음에는 제 코드에 오타나 탈자가 있을 것 같아서 한참을 찾아보다, 정 못찾아서 제공해주신 파일에서 client_id와client_secret을 제것으로 바꾸어서 실행했으나 같은 오류가 나타납니다. 기존에 있었던 질문(json 으로 저장이 안되네요)과 유사한 오류 인것 같아서, pip install --upgrade pip 를 한번 한 후에, 다시 시도해보셔도 좋을 것 같긴 합니다. 를 해봤으나, 같은 오류가 반복됩니다. 여기서 부터 막혀서 더 진행이 안되고 있어요 ㅠㅠ
- 미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
웹크롤링이 상대방 서버에 부담이 될 때는 어떻게 하나요~?
안녕하세요~ 기초부터 심화까지 강의 잘 듣고 있습니다. 좋은 강의 감사드립니다. 강의를 듣다 궁금한게 있어서요~ Scrapy는 정적인 페이지를 대용량 크롤링할 때 사용한다고 하셨는데, 이럴 때는 상대방 서버에 문제없이 크롤링해오는건가요??? 그리고 이건 이번 강의에 대한 문의는 아니고, 웹크롤링 기초부터 심화까지 다 들었는데 해결되지 않는 의문점이 있어서요. 기초강의에서 많은 데이터를 웹크롤링할 경우 상대방 서버에 부담을 줘서 문제가 될 수도 있다고 하셨는데요. 이럴 때 상대방 서버에 무리가 가지 않게 하면서 원하는만큼 웹크롤링을 할 수 있는 방법은 없을까요?? 한꺼번에 할 걸 시간을 좀 나눠서 크롤링하면 괜찮을까요??
- 미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
scrapy 윈도우버전의 설명은 따로 없나요??
scrapy 강의가 Mac을 기준으로 진행되고 있는데 윈도우버전의 설명이나 자료는 따로 없나요??? cmd에서 작동이 안되서 아나콘다로 하는데 Mac에서 그냥 scrapy ~~ 이렇게 쓰는 것도 윈도우에서는 !scrapy ~~ 이렇게 써야하고 scrapy shell은 앞에 !를 붙여도 작동이 안되서 지금 어떻게 작동할 수 있는지 찾고있어요. 보통 윈도우와 맥의 명령어가 다르면 둘 다 설명해주던데 이번에는 맥 중심으로 강의가 진행되어서 윈도우 사용자는 쉽게 진행이 안되네요.
- 미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
json 으로 저장이 안되네요
File "/Users/hwan/Library/CloudStorage/OneDrive-개인/Coding/scrapy/mynaverapi/mynaverapi/spiders/navershopapi.py", line 23, in parse data = json.loads(response.body_as_unicode()) AttributeError: 'TextResponse' object has no attribute 'body_as_unicode' 이와 같은 문구가 나오면서 정상적으로 작동하지 않네요 ... pip install json 을 입력하면 아래와 같은 메세지가 나옵니다. 어떻게 하면 해결할 수 있을까요? ERROR: Could not find a version that satisfies the requirement json (from versions: none) ERROR: No matching distribution found for json
- 미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
한번에 2가지 아이템을 가져오려면 어떻게 해야하나요?
강의를 보고 한번에 2가지 아이템(ex. 상품명, 가격) 을 가져오려고 여러번 시도해봤으나 계속 실패했습니다. 그러다 강의 내용중에 정확히 이해는 되지않으나 제가 크롤링하려는곳에 적용하니 작동하는 코드를 찾았습니다. def parse(self, response): product_types = response.css( 'section.recent-posts div.card-body > h2 > a::text').getall() product_names = response.css( 'section.recent-posts div.card-body > h4::text').getall() for index, product_type in enumerate(product_types): item = MycrawlerItem() print(product_type) item['product_type'] = product_type.strip() item['product_name'] = product_names[index].strip() yield item 위의 코드를 사용해보니 한번에 2가지 아이템을 추출해서 저장할수있었습니다. 제가 형광펜으로 칠한부분의 코드가 어떤 역할을 하길래 가능한건지 좀 더 자세한 설명해주실수 있나요? 제가 개인적으로 생각했을때는 for 구문을 각가의 아이템에 작성하여 총 2번의 for 구문을 사용했을때는 작동하지 않았는데 이 또한 뭐가 문제인지 설명좀 부탁드립니다 ㅠㅠ
- 미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
모듈 selenium 설치
jupyter notebook에서 !pip install selenium 디버깅을 해도 ERROR: requests 2.22.0 has requirement urllib3!=1.25.0,!=1.25.1,<1.26,>=1.21.1, but you'll have urllib3 1.26.9 which is incompatible. ERROR: Could not install packages due to an EnvironmentError: [WinError 5] 액세스가 거부되었습니다: 'c:\\programdata\\anaconda3\\lib\\site-packages\\urllib3-1.24.2-py3.7.egg-info\\dependency_links.txt' Consider using the `--user` option or check the permissions. 이런 에러가 나오면서 from selenium import webdriver를 디버깅하면 no module selenium으로 나옵니다... anaconda navigator에서도 설치가 안되고 cmd에서도 설치가 안되는데 혹시 다른 방법이 있을까요?
- 미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
No module named 'selenium'
cmd에서 pip install selenium을 했는데도 이러한 에러가 뜬 다는 것은 제대로 다운이 안됐거나 다운이 된 것이 쥬피터에서 연동이 안되었다는 뜻인가요?
- 미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
강의 너무 잘 들었습니다. 데이터 분석 로드맵 학습 과정에 대한 질문을 드리고 싶습니다
강의 너무 재미있게 완강했습니다. 항상 들으면서 느끼지만, 이렇게 방대한 내용들을 누군가에게 가르칠 수 있을 정도로 학습하셨다는 것이 마냥 존경스럽습니다. 강의를 다 끝내고, 데이터 분석 로드맵 설명을 찬찬히 듣던 중 조금 궁금한 점이 있어 이렇게 질문 드립니다. 머신러닝과 인공지능을 학습하려면 수학적 지식과 바탕이 어느정도 있어야 한다고 알고 있는데요, 인터넷에서 찾아보니 미적분, 선형대수, 통계학 이 세가지를 공통적인 필수 요소로 꼽는 것 같습니다. 그런데 저와 같은 문과생 출신들에게는 너무 와닿지 않는 얘기라고 해야할까요... 통계학에서 어떤 부분을 공부해야 하는지(예를 들어 수리통계학, 응용통계학 등), 선형대수를 공부하기 위해서 어떤 개념을 선수학습으로 알고 있어야 하는지, 여기서의 미적분은 고등학교 때 배우는 과정과 무엇이 다른건지 등등... 사실 이들을 어떻게 공부해야겠다 라는 방향성을 잡기가 너무 어렵습니다. 이 강의를 듣는 수많은 학생들보다 더 먼저 이 길을 걸어오신 선배님의 입장에서, 데이터 분석을 위한 수학 공부의 방향에 대해서 조언해 주신다면 정말 감사할 것 같습니다. 강의를 들으며 하나씩 꿈을 이루어가는 기분이 들어 너무 행복했습니다. 다음 강의도 열심히 듣도록 하겠습니다!
- 미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
개발자도구 내에서 마우스 우클릭이 안되는 현상 관련하여 문의드립니다 !
- 본 강의 영상 학습 관련 문의에 대해 답변을 드립니다. (어떤 챕터 몇분 몇초를 꼭 기재부탁드립니다)- 이외의 문의등은 평생강의이므로 양해를 부탁드립니다- 현업과 병행하는 관계로 주말/휴가 제외 최대한 3일내로 답변을 드리려 노력하고 있습니다- 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요 강의 너무 쉽게 설명 잘해주셔서 잘 듣고 있습니다. ^^ 다만 갑작스럽게 개발자도구(F12)에서 마우스 우클릭이 안되어 element를 확인할 수 없는 현상이 일어나고 있습니다. 정확한 현상은 아무것도 건들지 않은 상태에서 F12를 누르고 마우스 우클릭 할 경우 잘 실행되지만, 크롤링을 위해 특정요소를 마우스로 클릭하여 경로복사 하려고 하면 마우스 우클릭이 동작하지 않는 현상이 나타납니다. 관련해서 구글링 결과, ( https://www.thewindowsclub.com/enable-right-click-on-websites ) 사이트별로 javascript:void(document.oncontextmenu=null); 로 입력하면 마우스 우클릭이 활성화되는 현상이 나타나고 있습니다.. 특정 페이지만 막힌 것이 아니라, 네이버 구글 등 모든 기본페이지에서 마우스 우클릭이 안됩니다. 현재 크롬은 초기화까지 해보았으나 안되고 있습니다. 다른 구글아이디로 변경하여 들어갈 경우, 마우스 우클릭이 잘 됩니다. 현상 및 해결책 알려주시면 정말 감사할 것 같습니다 !! ^^ 현재 쓰고 있는 구글 아이디만 크롤링 못하도록 막힌 것인지.. 아니면 어떤 설정 부분으로 인해 그런것인지 .. 확인 어려우시겠지만 부탁드리겠습니다 항상 좋은 강의 감사합니다. 감사합니다 !! 추가사항) 확인해 본 결과 방식이 바뀐 것 같은데 왜 바뀌었는지는 모르겠습니다.
- 미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
클래스의 클래스 변수와 관련된 질문입니다
안녕하세요, 강의에서 소개해 주신 클래스에 관해 조금 더 깊은 내용을 구글링 하던 중, 예시로 보여주신 코드와 비슷한 구조를 가진 코드가 있어 이를 시행하던 중 궁금한 점이 생겼습니다. 관련된 내용을 많이 찾으며 해결을 하려다 보니 질문이 조금 길어질 것 같습니다.. 미리 양해 부탁드립니다. class Person: bag = [] def put_bag(self, stuff): self.bag.append(stuff) james = Person() james.put_bag('책') maria = Person() maria.put_bag('열쇠') print(james.bag) print(maria.bag) 다음과 같은 코드인데요, 이 경우는 특이하게 james와 maria라는 각각의 인스턴스를 만들었는데, james.bag와 maria.bag의 결과가 같게 출력되는 것을 확인할 수 있었습니다. james.put_bag('책') 다음과 같이 메소드를 실행하면 self는 결국 인스턴스인 james를 의미하므로 james.bag.append('책') 이 실행되고, 그 결과 james라는 인스턴스는 '책' 만을 bag 리스트에 가지고 있을 것이라고 처음에는 생각하였습니다. 이와 관련된 내용을 찾아보니, 클래스의 '네임스페이스' 에 대한 내용을 볼 수 있었습니다. 네임스페이스의 내용을 기반으로 해당 코드를 다시 살펴보니, 강사님께서 예시로 들어주신 코드에서는 quad1.width = 10 quad1.height = 10 quad1.color = 'blue' quad1.name = 'blue 사각형' 다음과 같이 인스턴스에 변수를 추가하였지만, 위의 코드는 james.bag = [] 와 같이 명시적으로 인스턴스에 변수를 추가하지 않았으므로, james.bag.append('책') 이 실행될 때 james 인스턴스의 네임스페이스에서 bag 변수를 찾을 수 없고, 이로 인해 클래스의 네임스페이스에서 bag를 찾아 그 리스트에 '책' 을 넣은 것이라고 판단하였습니다. 결국 클래스의 네임스페이스에 'bag' : ['책', '열쇠'] 의 형태로 내용이 담기는 것으로 우선 이해하였는데, 제가 이해한 것이 맞는지 확인하여 주시면 감사하겠습니다... 클래스에 대해 엄청 깊은 내용은 강의에서 다루지 않으셨기에 이런 질문을 드리는 것이 실례일 수도 있다고 생각합니다. 조금만 시간 내주시어 궁금증을 해결해 주신다면 너무나도 감사할 것 같습니다. 부탁드립니다ㅠㅠ
- 미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
selenium 크롤링에서 해당 태그가 부분적으로 없을때
안녕하세요. celenium 크롤링을 이용해 여러 페이지에서서 데이타를 가져올때, 특정 페이지에 해당 태그나 속성 name 이 없을 경우 그 곳에서 프로그램이 멈춰 서 버리는데요. 이럴 경우 어떻게 처리해야 하나요? 예) driver.get(https://davelee-fun.github.io) elem = driver.find_element_by_class_name("card-title") 물론 위의 테스트 웹사이트에서는 해당 클래스가 모두 있기 때문에 문제가 없는데요. 예외적으로 없을 경우 어떻게 처리를 해야 하는지 궁금해서 여쭤봅니다.
- 미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
selenium에서 각각의 데이타 추출방법
강의 비디오 : Selenium 기본 사용법 1 - name으로 찾기 10분대 http 페이지명 : http://davelee-fun.github.io 질문 : 안녕하세요 강의 잘 보고 있습니다. Teddy의 선물 블로그에 각각의 카드 내에서 상품 추천과 상품명 2개를 가져오려고 할때 어떤 방법이 있는지 알고 싶습니다. 추천상품 다음에 상품명이 같이 나란히 나오게 하려고 하는데 잘 안되네요. 카드 정보 전체를 추출해서 다시 인덱스로 추출해야 하나요?
- 미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
플러터 문의
강의 잘 보고 있습니다.(비전공자 수준에서도 이해가 너무 잘됩니다.) 플러터 관련 강의는 상반기 대략 언제즈음으로 예상하시는지 알 수 있을까요??( 강사님 강의를 듣다보니 저에게 너무 적합해서 타강사분들의 강의를 들을 수가 없네요;;;-)
- 미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
컴퓨터 공학 강의
안녕하세요. 데이브님 수업 중간중간에 해주시는 격려 덕분에 이번 고급 크롤링 강의도 완강하였습니다. 좋은 강의 감사합니다. 다음 SQL 강의도 기대가 됩니다 ㅎ 마지막으로 질문이 있는데요. 이전에 컴퓨터 공학 연계강의 추천과 관련해서 "컴퓨터공학 기본기를 아주 탄탄하게 잘 다져보시는 것은 추천드립니다. 운영체제, 컴퓨터구조, 네트워크, 시스템소프트웨어 는 필수라고 생각합니다." 위와 같이 답변을 주셨는데요. 막상 말씀주신 강의를 대학교에서 수강신청 하려 하니 운영체제를 먼저 해야될지.. 컴퓨터 구조를 먼저 해야될지 감이 잡히질 않아서요... 혹시 추천 주시는 순서가 있으면 알려주시면 감사하겠습니다 :)
- 미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
네이버 Open API 크롤링하기1 강의 질문
네이버 Open API 크롤링하기1 강의에서 self.start_urls로 start_urls가 여러 페이지의 리스트형태로 되어있는 경우 아래와 같이 for 문으로 풀어주신다고 하셨는데요. for url in self.start_urls: yield ~~ 예를 들어 start_urls =[www.xxxx, www.yyyy, www.ssss] 로 여러 페이지가 리스트로 되어있는 경우 그냥 for url in start_urls로 써도 되지 않나요? 왜 self. 을 붙여서 하는지 궁금합니다. 답변 부탁드립니다. 감사합니다.
- 미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
스크래피 - 여러 웹페이지 크롤링하기
안녕하세요 :) 34강 scrapy 다양한 사용법 - 여러 웹페이지 한번에 크롤링하기 강의 관련 간단한 질문이 있습니다. def start_requests(self): yield scrapy.Request('http://davelee-fun.github.io/', self.parse) 위 코드의 self.parser에 대해 궁금한 점이 있습니다. 이전에 객체 지향 관련 강좌를 들었을 때 객체.함수 이런 식으로 작성하는 경우를 봤는데 위의 경우 self.parser에서 self는 객체가 아닌 것 같은데 왜 self.parser로 작성되는지 궁금합니다. 제가 모르고 있는 다른 문법이 있는건가 싶어서요. 답변 부탁드립니다. 감사합니다.
- 미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
Scrapy 다양한 사용법: Scrapy 로 네이버 Open API 크롤링하기2 [12:12]
궁금한게 있어서 여쭤봅니다. re.sub 정규표현식을 써서 b태그 처리된것을 없앴습니다.<b></b> 근데 뒤에 아이폰 내용중에 대괄호로 시작하는 내용들은 안없어지나요? 대괄호도 특수문자 아닌가요? ----> [자급제]
- 미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
이미지 크롤링 강의 누락
selenium과 이미지 크롤링 기법 이해와 활용 위 제목의 강의에서 이미지 크롤링 관련 강의 내용이 없습니다. 다른 분이 강의 누락 되어있다고 해서 수정이 된줄 알았는데 아직 업데이트가 안된건가요..? 해당 강의 들어보면 이미지 크롤링 자료를 다루기 전에 강의가 끝납니다. 업데이트를 해야 된다면 최대한 빨리 업데이트 부탁드립니다. 흐름이 중간에 끊겨서요 ㅜㅠ
- 미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
css_selector 질
안녕하세요. 강의 잘 듣고 있습니다 :) 17강(연습문제로 풀어보기3 : 동적 웹사이트 크롤링과 활용) 1분49초 부분 개발자모드로(F12) 로 보면 <span class=news > 뉴스: 머신러닝 강좌가 나왔어요~~ 로 나와있어서 elem = driver.find_element_by_css_selector("span.news") 로 코딩 후 run해 봤는데 데이터가 안 뜹니다. js로 html을 구현하는 방식으로 인해 위 코드가 먹히지 않는걸까요? js파일에서 news로 해당 데이터를 포함시켜서 위와 같이 span 태그를 포함시키는 경우 데이터 추출이 안되는 건가 싶어서 여쭤봅니다. 감사합니다.