inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

현존 최강 크롤링 기술: Scrapy와 Selenium 정복

강력/최신 크롤링 기술: Scrapy 로 지마켓 크롤링하기2

지마켓크롤링1강의에서 csv파일 저장했는데 내용이 들어가 있지 않습니다

460

밑바닥개발자

작성한 질문수 77

0

제목 그대로 코딩을 똑같이 따라해서 했는데 단지 선생님과 차이점은 전 vscode를 사용했을 뿐인데 csv파일로 저장을 하면 파일은 생기는데 안에 아무것도 내용이 없습니다... css선택자가 올바르게 됬는지 여부는 scrapy shell에서 제대로 확인했습니다! 코딩 사진 첨부드릴테니 보시고 조언 부탁드려요 ㅜㅜ 

selenium scrapy 웹-크롤링

답변 5

0

짐토스

저는 sublime text로 사용 하는데도... 파일은 만들어 지는데 안에 내용이 아무것도 없네요 ㅠ

0

밑바닥개발자

오래전 질문이긴한데...sublime text로 해보시는 것도 좋을 것 같아요!!지금은 노트북을 바꿧는데 그때당시 노트북 문제일 수도 있습니다 ㅜㅜ 꼭해결하시길 바랄게요!

0

zbqmgldjfh

저도 똑같은 현상이... 오타인가 해서 그대로 복붙해도 아무것도 안나오내요 ㅠ.ㅠ

0

밑바닥개발자

그냥 sublime text로 깔아서 하니 실행해보니까 되네요...! 그래도 친절한 설명 감사합니다!

강의 중간중간 드립(?)날리는거 재밌습니다...! ㅎ

0

잔재미코딩 DaveLee

안녕하세요. 캡쳐화면만으로는 조금 애매하긴 합니다만,

1) scrapy shell 로 csv 파일을 만들어보고, 해당 파일에도 정상적으로 출력이 안된다면 코드상의 문제로 보이구요.

2) 코드에서 실제 title, price가 제대로 추출이 되는지, print 문을 넣어서 확인을 해보고, 출력이 안된다면, 해당 부분이 문제로 보여집니다.  만약 출력이 된다면, 아예 강의에서 첨부드린 코드로 실행을 해보는 것도 좋을 것 같습니다.

감사합니다.

class GmarketSpider(scrapy.Spider):
    name = 'gmarket'
    allowed_domains = ['http://corners.gmarket.co.kr/Bestsellers']
    start_urls = ['http://corners.gmarket.co.kr/Bestsellers/']

    def parse(self, response):
        titles = response.css('div.best-list li > a::text').getall()
        for title in titles:
            item = EcommerceItem()
            item['title'] = title
            yield item

코딩을 잘 따라 한 것 같은데 오류가 발생하는 것 같습니다

0

626

1

scrapy를 jupyter 환경에서 할 수 있나요

0

361

1

[실전 크롤링: scrapy 크롤링 팁] 질문있습니다.

0

313

1

[실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기1] 5분50초쯤 질문

0

221

1

[강력/최신 크롤링 기술: Scrapy 로 지마켓 크롤링하기1] 관련 질문

0

279

1

xml을 parsing할때 <을 &lt; 로 인식합니다.

0

335

1

pipelines.py에서 process_item내에서 print문이 작동을 하지 않네요 ㅠ

0

292

3

PhantomJS 문의

0

294

1

selenium 문의

0

329

1

브라우저 제어해서 크롤링하기 - 처음강의 마지막부분 문의

0

3004

1

on error 해결 방법 질문

0

356

1

[팁] 윈도우 cmd 커맨드

0

347

1

[팁]Chrome User Agent 아는법

0

328

1

실전 크롤링: 브라우저를 제어해서 트위터 사이트 로그인 하기 질문

0

254

1

동영상 강의 만드실 때 사용한 툴을 알려주실 수 있을까요?

0

237

1

CSS Selector 에서 질문이 있습니다.

0

435

2

pip install scrapy 오류

0

484

1

셀레니움 실행불가

0

1578

1

실전 크롤링: XPATH와 Selenium 활용해서 페이스북 로그인 하기 에서 질문이 있습니다.

0

227

1

언제 get_text()를 사용하고 또 언제 .text를 사용하나요?

0

288

1

강의교안자료 받을수있을까요?

0

263

1

[강의 9:27관련 질문] price, title 열 위치

0

160

1

div에 있는 클래스가 2개이면 어떻게 하나요?

0

368

1

css 셀렉터에 대해 질문이 있습니다.

0

147

1