inflearn logo
강의

Course

Instructor

Easy Python Advanced Crawling [Scrapy, Selenium, Headless Chrome]

Various Uses of Scrapy: Crawling Naver Open API with Scrapy 2

json 으로 저장이 안되네요

2129

kshssi

12 asked

0

File "/Users/hwan/Library/CloudStorage/OneDrive-개인/Coding/scrapy/mynaverapi/mynaverapi/spiders/navershopapi.py", line 23, in parse

    data = json.loads(response.body_as_unicode())

AttributeError: 'TextResponse' object has no attribute 'body_as_unicode'

 

이와 같은 문구가 나오면서 정상적으로 작동하지 않네요 ...

pip install json 을 입력하면 아래와 같은 메세지가 나옵니다.

어떻게 하면 해결할 수 있을까요?

ERROR: Could not find a version that satisfies the requirement json (from versions: none)

ERROR: No matching distribution found for json

 

 

웹-크롤링 selenium bigdata scrapy

Answer 1

0

funcoding

안녕하세요.

json 라이브러리는 기본적으로 설치가 되어 있는 것이 맞긴 할 것 같은데요. 

그렇지만 검색해서 다음 링크로 봤을 때에는 

pip install --upgrade pip 를 한번 한 후에, 다시 시도해보셔도 좋을 것 같긴 합니다.

그런데, 제생각에는 import json 만 실행해봐도 이미 json 이 설치되어 있을 것 같기는 해요.

 

https://flymogi.tistory.com/entry/pip-install-%EC%97%90%EB%9F%AC-%ED%95%B4%EA%B2%B0

 

저도 정확히 말씀해주신 부분만 봐서는 딱 어느 부분이 문제인지 알기는 어려운데요. 

왠지 json.loads() 함수가 직접 작성하신 것이 아니라, 내부 코드에서 에러가 나는 것이 아닐까 생각이 들어서요. 그렇다면, 뭔가 작성하신 코드나 크롤링하시려는 사이트와 관련한 이슈일듯도 해서요.

 

우선은 이런 문제가 json 등의 문제인지를 확인하시려면, 제가 드린 코드를 새로 다운받으셔서, 우선 그대로 영상처럼 실행해보시면 어떠실까요? 그 코드에서 문제가 없다면, 말씀드린대로 우선 json 문제는 아닌 것으로 확인이 될 수 있거든요.

 

감사합니다.

 

[REST API] data의 교환방식 질문

1

663

1

headless chrome 오류 문의

0

1486

1

Selenium 처리 속도 관련 문의드립니다.

0

1950

1

동적 웹사이트에서 element가 선택되지 않는 문제에 관해 질문드립니다

0

686

1

webdriver manager

0

438

1

__init__() got an unexpected keyword argument 'service' 에러 질문드립니다.

1

11707

1

Jupiter NoteBook 파일과 PDF 파일은 어디서 다운로드 받을 수 있나요?

0

443

1

scrapy option질문

1

243

1

response.css 질문드립니다.

0

367

1

scrapy 크롤링 수행시 ffi.callback() 에러가 발생합니다

0

396

1

selenium으로 여러페이지 수집시 질문

0

380

1

연습6 모범 코드: 로그인 시나리오 해보기

0

269

1

셀레니움 문법 업그레이드 , find_element_by_tag_name 오류

3

2830

1

셀레니움 버전 변경으로 인한 코드 변경

0

1283

1

headless error

0

439

1

질문있습니다!

0

463

1

안녕하세요 선생님! 질문있습니다.

0

231

1

selenium&scrapy문의

0

279

1

아래분(phantele47)과 동일한 문제가 발생해서 문의드립니다.

0

909

6

ip 차단을 피하려면 어떻게 해야 하나요?

0

3353

2

start_urls = ['']가 제공해주신 것과 다르게 작동합니다.

1

278

2

json, data = json.loads(response.body_as_unicode()) 부분에 문제가 있는 것 같습니다.

0

596

3

웹크롤링이 상대방 서버에 부담이 될 때는 어떻게 하나요~?

0

680

1

scrapy 윈도우버전의 설명은 따로 없나요??

0

325

1