inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

현존 최강 크롤링 기술: Scrapy와 Selenium 정복

강력/최신 크롤링 기술: Scrapy 이해하기

scrapy 설치관련 재 질문드립니다

155

sang hyuk kim

작성한 질문수 3

0

우선 제 첫 질문이 미흡했던 점 사과드립니다. 
마음이 급한 나머지 제대로 질문하지 못했습니다. 

저는 현재 아나콘다-주피터노트북으로 강사님의 수업을 따라가고 있습니다. 

다만 현재까지도 scrapy 설치를 못하여 진도를 나가지 못하고 있는 상황입니다.

[강력/최신 크롤링 기술: Scrapy 이해하기] [11:07] 에서 제안해주신 방법대로 실행했음에도 scrapy를 설치하지 못했습니다. 여러차례 구글링을 해보았지만, 방법을 찾지 못했습니다. 

그러던 중 아래 저랑 비슷한 실패기를 경험한 블로그를 찾았습니다. 

https://www.hanumoka.net/2020/06/23/python-20200623-python-windows10-conda-install-scrapy/

저는 해당 블로그에서 성공기로 설명하는  "conda를 통해서 설치했다."다 역시도 제게는 적용이 안되는 것 같습니다.

잔재미코딩님의 수업을 여태 잘 따라오면서 크롤링이 재미있고 많이 익숙해졌는데, 여기서 설치가 안되니 답답할 따름입니다. 

강사님 말씀처럼 pc 환경이 모두 다르기 때문에 100% 적용이 어렵다는 점 잘 알고 있습니다. 그래도 강사님은 어떤 부분을 살펴보면 좋을지에 대한 의견을 주실 수 있을 것 같아 질문드립니다. 

여기서 scrapy때문에 이 수업을 포기하고 싶지 않습니다.. 

scrapy selenium 웹-크롤링

답변 1

0

잔재미코딩 DaveLee

안녕하세요.

정말 신기하네요. 수년간 scrapy 설치가 안되서 어려움을 겪는 경우는 처음이긴 한데요.

우선, 아이디도 한글이 들어 있는지, 또 scrapy 관련 폴더에 한글이 사이에 끼어있는지도 한번 확인후, 가능하면 다 영어로 하시면 좋을 것 같고요.

다음으로, 아나콘다도 싹 삭제 후, 관리자 권한으로 설치하시면 어떨까 합니다.

그 다음에, 제 생각에는 Visual Studio Build Tool 을 다음 블로그와 같이 설치를 하시되, 관리자 권한으로 설치하시면 어떨까 해요.

https://m.blog.naver.com/PostView.nhn?blogId=jjys9047&logNo=221580767532&proxyReferer=https:%2F%2Fwww.google.com%2F

여기까지 정상 동작 확인 후에, 강의 기본 가이드대로, 설치시도를 해본 후,

안되면 다시 다음 링크의 conda 를 사용하는 방법을 다시 해보시면 어떨까 합니다.

https://www.hanumoka.net/2020/06/23/python-20200623-python-windows10-conda-install-scrapy/

저도 수차례 삭제 후, 재설치할 때도 있습니다. 싹 삭제 후, 경우의 수를 생각해서, 하나씩 해보고, 안되면 삭제 후, 다시 다른 케이스로 해보는 것도 현재로써는 가장 좋은 방법같습니다.

참고로 저는 그래서, 아예 제 PC에 한글은 안쓰기도 하고요. 정 안되면, 아예 윈도우를 재설치할 때도 있기는 합니다. (보안 프로그램등이 문제가 될 수도 있거든요)

너무 걱정마시고요. 설치 시도에 시간이 많이 걸려서 시간이 많이 걸리기는 하지만, 최악의 경우, 윈도우 재설치 후 영어 아이디로 한 후, Visual Studio Build Tool 설치 하고, 하면 무조건 되긴 할 것 같습니다.

감사합니다.

코딩을 잘 따라 한 것 같은데 오류가 발생하는 것 같습니다

0

626

1

scrapy를 jupyter 환경에서 할 수 있나요

0

360

1

[실전 크롤링: scrapy 크롤링 팁] 질문있습니다.

0

313

1

[실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기1] 5분50초쯤 질문

0

221

1

[강력/최신 크롤링 기술: Scrapy 로 지마켓 크롤링하기1] 관련 질문

0

279

1

xml을 parsing할때 <을 &lt; 로 인식합니다.

0

334

1

pipelines.py에서 process_item내에서 print문이 작동을 하지 않네요 ㅠ

0

292

3

PhantomJS 문의

0

294

1

selenium 문의

0

329

1

브라우저 제어해서 크롤링하기 - 처음강의 마지막부분 문의

0

3004

1

on error 해결 방법 질문

0

356

1

[팁] 윈도우 cmd 커맨드

0

347

1

[팁]Chrome User Agent 아는법

0

327

1

실전 크롤링: 브라우저를 제어해서 트위터 사이트 로그인 하기 질문

0

254

1

동영상 강의 만드실 때 사용한 툴을 알려주실 수 있을까요?

0

237

1

CSS Selector 에서 질문이 있습니다.

0

435

2

pip install scrapy 오류

0

483

1

셀레니움 실행불가

0

1578

1

실전 크롤링: XPATH와 Selenium 활용해서 페이스북 로그인 하기 에서 질문이 있습니다.

0

226

1

언제 get_text()를 사용하고 또 언제 .text를 사용하나요?

0

287

1

강의교안자료 받을수있을까요?

0

263

1

[강의 9:27관련 질문] price, title 열 위치

0

160

1

div에 있는 클래스가 2개이면 어떻게 하나요?

0

368

1

css 셀렉터에 대해 질문이 있습니다.

0

147

1