수강이 제한됩니다.
다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
네이버 지도 마커 drag 질문입니다.
안녕하세요 강사님 현재 저는 네이버 지도를 크롤링 중입니다. 순조롭게 진행중에 한가지 문제점이 발생하여 질문드립니다. ------------------------------------------------------------------------------ 제가 원하는 것은 마커의 위치를 화면 가운데로 옮기는 것 입니다. ------------------------------------------------------------------------------ 셀레늄으로 검색태그에 원하는 주소를 입력하고, 빨간 동그라미로 친 폴드버튼을 누르면, 보시다 시피 마커가 오른쪽에 위치하는 것을 확인하실 수 있습니다. 저는 저 마커를 가운데로 위치하게 하고 싶습니다. ------------------------------------------------------------------------------ 제가 시도했던 방법은 drag & drop을 이용해볼려고 해봤습니다. # 마커 셀렉트marker = WebDriverWait(driver, 10).until(EC.presence_of_element_located ((By.CSS_SELECTOR, "div.leaflet-pane.leaflet-tf-custom-symbol-pane > div.leaflet-image-layer.leaflet-zoom-animated.entry-single-marker > div")))action = ActionChains(driver)action.drag_and_drop_by_offset(marker, 700, 0).perform() 일단 초록색 마커는 찾았습니다. 나머지 위의 코드를 사용해보았는데 , 에러는 안나지만 드래그가 되질 않았습니다. 좌표를 아무리 조절해봐도 드래그가 되질 않아서 여기에 질문합니다. ------------------------------------------------------------------------------ 어떠한 방법으로 해결할 수 있을까요?
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
selenium설치 관련 질문 입니다.
안녕하세요. 이전 기초 강의는 잘 수강 하였습니다. 중급과정을 듣는 중에 위와 같이 계속 에러가 떠서 질문 남깁니다. 파이선 3.8, 윈도우 사용자이고, 터미널에서 pip install selenium을 설치하였습니다. 쓰는 크롬 버전은 78버전으로, 이에 해당하는 드라이버를 다운 받았습니다. 혹시 몰라서 위에 보이는 바와 같이 쥬피터 노트북 상으로 selenium을 다운 받았는데도 실행이 안됩니다. 혹시나하여 conda로도 다운 받았는데, 여전히 실행이 되지 않네요. 뭐가 문제일까요..;;
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
genscrapy를 했는데 오류가 뜹니다
예스24 월별 베스트셀러 페이지(http://www.yes24.com/24/category/bestseller?CategoryNumber=001&sumgb=09&year=2008&month=1&FetchSize=80) 를 크롤링하기 위해 genscrapy를 했는데 This site cannot be displayed in QuickLook because of Application Transport Security. Only HTTPS URLs can be previewed. 위와 같은 내용이 담긴 창이 뜨면서 시스템 처리 시 에러가 났다는 YES24 창이 뜹니다. 어떻게 해결해야 할까요?
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
주피터 노트북 어디에서 보나요?
안녕하세요. 강의 감사합니다. 강의 내용이 담긴 주피터 노트북을 보고, 또 다운로드 받고 싶은데 어디에서 찾을 수 있나요?
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
안녕하세요 문과를 졸업하고 늦게나마 코딩을 공부하고 있는 학생입니다.
반갑습니다. 처음으로 인사를드리네요. 개발자님의 강의를 너무 감명깊게 봐서 몽고 디비만 빼고 모두 수강했습니다. 좋은 강의를 만들어주셔서 너무 감사하다는 말 드리고 싶습니다. 강의를 활용하여 이제는 조금씩 코딩을 진행하고있는데 새로운스타일의 크롤링을하게 진행하게 되어서 답답한마음에 글을 남기게 되었습니다. 주변에 여쭤볼사람이없습니다. 프로젝트라고 할건없지만 작은 회사에서 저를 필요로 하여서 공부를해가면서 코딩을 진행중입니다. 회사와 관련되어서 프로그램의 자세한 내용은 밝힐수 없는점 이해부탁드립니다. 개발자님께 질문전에 충분히 생각하고 외국포럼도 서치하면서 찾아보고 이미 지식인에도 다올려봤지만 답이 안나오더군요. 그럼 제가 궁금한점 질문드리겠습니다. BeautifulSoup을 이용해서 파싱을 진행중인데 제가 파싱하는 사이트는 옵션값들이 전부 동적페이지와 연결이되어있습니다. 예를 들어 클릭을 하면 텍스트가 뜨는 형식으로요. 개발자님의 강의를 들어서 활용을 해볼려고 했으나 이 또한 html 내용이 값을 얻기 어렵게 되어있어. <script> 구문의 텍스트를 긁어와 텍스트를 이용하여 값을 도출할려고합니다. -------------------------------------- <script> window.aehostname = '.us.ot7' </script> <script> window.runParams = { data: {"actionModule":"skuPropertyName":"색깔","skuPropertyValues":[{"propertyValueDisplayName":"파란","propertyValueId":173,"propertyValueIdLong":173,"propertyValueName":"파란","skuColorValue":"#0080FF",","skuPropertyImageSummPath":"skuPropertyTips":"파란","skuPropertyValueShowOrder":1,"skuPropertyValueTips":"파란"},{"propertyValueDisplayName":"빨간","propertyValueId":10,"propertyValueIdLong":10,"propertyValueName":"빨간","skuColorValue":"#FF0000",""skuPropertyTips":"빨간","skuPropertyValueShowOrder":1,"skuPropertyValueTips":"빨간"}, csrfToken: 'rb2zpy7fwxpm', abVersion: '', }; ------------------------------------------------------ 대충 스크립트를 크롤링 해오면 이런텍스트로 가져오게되는데 이텍스트에서 [propertyValueName] 키의 값인 [ 빨간]과 [파란]을 딕셔너리 형태로 가져오고싶습니다. 어떻게 해야하는지 알려주시면 감사드리겠습니다. 절대 쉬운길을 찾아서 개발자님께 질문을 바로드리는게 아닙니다. 시간에 쫒기다보니 무례인줄알지만 제자로써 질문을 드리게되었습니다. 개발자님께 항상 행복이 함께하길 바라겠습니다. 더 열심히 공부하겠습니다. 죄송합니다.
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
크롬 프린트창을 제어할 수 있을까요??
안녕하세요. 셀레늄으로 이것저것 하다가, 크롬 프린트를 제어할 수 있는지 궁금해서 질문합니다. 인터넷 뒤져보니 안된다는 사람도 있고 , 된다는 사람도 있었습니다. 된다는 사람이 보여준 코드는 하필 자바라서 실제 되는지 안되는지 파이썬에 적용은 못해봤습니다.
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
https는 scrapy를 사용할 수 없나요?
잘 따라가던 중에 scrapy shell에서 url을 https 주소를 갖은 네이버 쇼핑꺼를 넣어봤는데 결과에 response <200....도 없고 다른 명령어도 모두 안됩니다. 찾아보니 html에 아무런 정보가 없어서 그렇다는거 같은데, http 주소들에서는 정상 작동하지만 https에서는 전혀 안됩니다. 해결 방법이 있나요? 윈도우 사용자 입니다.
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
오른쪽 마우스버튼이 안먹히는 사이트들은 크롤링이 불가능할까요?
안녕하세요~ 저는 인터넷 등기소를 크롤링하고 싶은 사람입니다. 이 사이트의 최대의 문제점은 오른쪽 마우스 클릭이 안되서 사이트의 태그 확인이 불가능하다는 점 입니다. 이러한 사이트들은 빠른 포기가 답일까요?
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
scrapy 동적 웹페이지
안녕하세요 강의 정말 잘 보고 있습니다 ㅎㅎ 내용을 쉽게 설명해주셔서 바로바로 이해하면서 열심히 공부하고 있습니다. 다름이 아니라 scrapy에 selenium을 응용하여 동적 웹페이지를 크롤링 하려하는데 가이드 라인이 있으면 좋을거 같아서 이렇게 질문드려봅니다. selenium에서의 response를 scrapy에서 이용 할 수 있지 않을까 생각하는데 scrapy 에서 selenium을 이용하여 동적웹페이지를 크롤링 하는 정말 간단한 소스 하나만 예제로 볼 수 있을까요
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
한 함수에서 Request를 두번 쓰면 한번만 작동하는 문제 발생
for index, category_link in enumerate(category_links): yield scrapy.Request(url='http://corners.gmarket.co.kr/'+category_link, callback=self.parse_subcategory, meta={'category_name': category_names[index]}) for index, category_link in enumerate(category_links): yield scrapy.Request(url = 'http://corners.gmarket.co.kr/'+category_link, callback = self.parse_item, meta = {'category_name': category_names[index]}) 위와 같이 한 함수 내에서 Request를 두번 요청하는 경우 한번은 작동하지 않는 문제가 발생되는데 혹시 해결 방법을 아실까요/
- 현존 최강 크롤링 기술: Scrapy와 Selenium 정복
두번째 Request의 callback 부분이 작동을 안합니다..
삭제된 글입니다
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
실행결과가 안나와요
print("안녕") shift+enter 눌렀는데 별표생기고 결과를 보여주지 않아요. 왜그런거죠.?
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
현업에서의 크롤링 활용
완강 후 하고 싶었던 크롤링들 시도해봤는데... 꼭 해보고 싶었던 사이트는 자체적으로 크롤링 못하게 다 막아놨네요ㅠㅠ 현업에 계신분들은 보통 어떤 것들을 크롤링하는지 궁금합니다. 예시에서와 같이 네이버, 지마켓 등등 위주로 크롤링 하시는지요?
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
naver open api 강좌 강의교안
선생님. naveropenapi 강좌 pdf 강의 교안을 못 찾겠습니다. 도움 부탁드립니다. 감사합니다.
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
ROBOTSTXT_OBEY 와 DUPEFILTER_CLASS
settings.py의 ROBOTSTXT_OBEY 와 DUPEFILTER_CLASS의 역할에 대해 한번만 더 설명해주시면 감사드리겠습니다. '실전 크롤링: gmarket 크롤링하며, scrapy 실전 활용법 익히기5' 편의 09:19 쯤에 미리 작성하셨다고(?) 언급하신 것 같은데 하다보니 궁금해졌습니다. 감사합니다!
- 해결됨현존 최강 크롤링 기술: Scrapy와 Selenium 정복
scrapy crawl gmarket_best -o gmarket_products.csv -t csv 가 크롤링을 하지 못합니다.
삭제된 글입니다
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
스크래피를 실전에 활용하기위한 체크리스트
안녕하세요. 크롤링에 관심이 많은 전산 비전공자 입니다. 제가 크롤링을 자주하는 편이고 라이브러리도 만들어보긴했는데 어설퍼서 이번에 스크래피를 배우고자 하고있습니다. 친절한 강의는 잘듣고 있습니다. 강의를 듣고 실습중 발생한 의문이나 궁금증들을 정리해 보았는데요.. 열댓가지 정도 되서...ㅠㅠ일일이 여줍기가 힘들어서... 자문자답 하는 형식으로 md 문서를 만들어 보았습니다. 구글링 해서 금방 찾을수 있는것도 있지만 실제로 뭐라고 검색해야 할지도 모르는 상황도 있어서... https://github.com/zwolf21/scrapy-playground 혹시 스크래피 고급 과정 강좌를 만드실 계획이 있으시다면 위와 같은 내용을 반영이 될런지 궁금합니다 ㅎㅎ
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
강의누락
객체지향 프로그래밍 3은 목록은 있는데 강의가 없습니다. 확인 부탁드립니다! 감사합니다.
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
실전크롤링:지마켓 크롤링하면 Scrapy실전활용법 익히기부분에서 질문있습니다.
위실전크롤링:지마켓 크롤링하면 Scrapy실전활용법 익히기부분에서 위와 같이 메인카테고리와 서브카테고리를 추출하는 부분을 테스트 해보니 메인카테고리만 추출하는 for문과 서브카테고리를 추출하는 for문이 개별적으로 돌리면 정상적으로 잘 구동되는데 위와 같이 모두 활성화하고 parse_mainpage에서 호출하면 메인카테고리만 추출하는 부분만 구동되고 함수가 종료되어 버립니다. 혹시 돌리기 위한 추가적인 설정이 필요한가요? parse_item, parse_subcategory 모두 try-catch문에는 아무 에러가 없습니다.
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
크롬브라우저 종료
셀레니움으로 크롬실행을 하면, 바로 종료되는데요 유지시키는 방법은 없을까요?