inflearn logo
강의

Course

Instructor

Easy Python Advanced Crawling [Scrapy, Selenium, Headless Chrome]

Understanding Scrapy through practice problems

scrapy 윈도우버전의 설명은 따로 없나요??

325

white7720

2 asked

0

scrapy 강의가 Mac을 기준으로 진행되고 있는데

윈도우버전의 설명이나 자료는 따로 없나요???

cmd에서 작동이 안되서 아나콘다로 하는데

Mac에서 그냥 scrapy ~~ 이렇게 쓰는 것도

윈도우에서는 !scrapy ~~ 이렇게 써야하고

scrapy shell은 앞에 !를 붙여도 작동이 안되서 지금 

어떻게 작동할 수 있는지 찾고있어요.

 

보통 윈도우와 맥의 명령어가 다르면 둘 다 설명해주던데

이번에는 맥 중심으로 강의가 진행되어서 윈도우 사용자는

쉽게 진행이 안되네요.

bigdata selenium scrapy 웹-크롤링

Answer 1

0

funcoding

안녕하세요.

 

우선 scrapy 설치와 동작을 '터미널' 환경에서 하신다면, 이 부분은 맥과 윈도우 상관은 없습니다.

그래서, 맥으로 터미널 화면을 보여드리나, 윈도우로 터미널 화면을 보여드리나 동일하기 때문에,

윈도우로 '터미널'에서 동일한 명령을 실행하는 부분을 반복적으로 보여드릴 필요가 없어서, 이 부분을 별도로 영상으로 보여드리지는 않았어요. ! 문구를 쓰는 것은 주피터 노트북에서 pip 와 같은 명령을 사용하는데 쓸 수 있는 팁이라서, scrapy 를 터미널에서 실행한다면, 터미널에서 동일한 명령으로 실행이 되어야 합니다.

 

그런데, cmd 에서 동작을 하지 않는다면, 이 부분은 파이썬이 여러 버전이 개인 PC 에 설치되어 있을 경우,

현재 아나콘다로 사용하는 파이썬 버전이 '터미널' PATH 에 들어있지 않아서, 생기는 문제라고 보시면 좋을 것 같은데요.

이런 문제는 맥에서든 윈도우에서든 역시 동일한 문제입니다. 

 

아나콘다를 설치하셨으면, 윈도우에 Anaconda Prompt 프로그램이 프로그램 메뉴에서 있으실꺼예요. 해당 프로그램을 한번 실행해보시면 어떠실까요? 해당 프로그램도 cmd 와 동일한 터미널이긴 한데 Anaconda 파이썬을 사용할 수 있지 않을까 합니다. 그래서, 해당 프로그램으로 터미널을 실행한 후에, 다시 pip install scrapy 로 설치 후, scrapy 명령을 본 강의에서 나온 터미널에서의 실행을 그대로 해보시면 어떠실까요? 이래도 안된다면, 부득이, 윈도우 PATH 를  다음 설정을 참고하셔서, 한번 해보시는 것도 추천을 드립니다.

https://foon.tistory.com/31

 

감사합니다.

 

[REST API] data의 교환방식 질문

1

663

1

headless chrome 오류 문의

0

1486

1

Selenium 처리 속도 관련 문의드립니다.

0

1950

1

동적 웹사이트에서 element가 선택되지 않는 문제에 관해 질문드립니다

0

686

1

webdriver manager

0

438

1

__init__() got an unexpected keyword argument 'service' 에러 질문드립니다.

1

11707

1

Jupiter NoteBook 파일과 PDF 파일은 어디서 다운로드 받을 수 있나요?

0

443

1

scrapy option질문

1

243

1

response.css 질문드립니다.

0

367

1

scrapy 크롤링 수행시 ffi.callback() 에러가 발생합니다

0

396

1

selenium으로 여러페이지 수집시 질문

0

380

1

연습6 모범 코드: 로그인 시나리오 해보기

0

269

1

셀레니움 문법 업그레이드 , find_element_by_tag_name 오류

3

2830

1

셀레니움 버전 변경으로 인한 코드 변경

0

1283

1

headless error

0

439

1

질문있습니다!

0

463

1

안녕하세요 선생님! 질문있습니다.

0

231

1

selenium&scrapy문의

0

279

1

아래분(phantele47)과 동일한 문제가 발생해서 문의드립니다.

0

908

6

ip 차단을 피하려면 어떻게 해야 하나요?

0

3353

2

start_urls = ['']가 제공해주신 것과 다르게 작동합니다.

1

278

2

json, data = json.loads(response.body_as_unicode()) 부분에 문제가 있는 것 같습니다.

0

596

3

웹크롤링이 상대방 서버에 부담이 될 때는 어떻게 하나요~?

0

680

1

json 으로 저장이 안되네요

0

2129

1