inflearn logo
강의

Course

Instructor

Python Web Crawling & Automation to Do My Work (feat. Stock, Real Estate Data / Instagram)

개발도구 페이지 network preview 나 network response Json 가져오는법

1919

kgeonhoe0622

2 asked

0

안녕하세요 유용한 강의 감사드립니다.
강의내용과는 무관합니다만.. 크롤링관련 막히는 부분이있어 조언을 얻고자 문의드립니다.
강의를 전부 듣고 업무에 활용하고자 회사 클라우드 서버의 erp 데이터를 가져오려고 합니다만.
souce code 상에는 "You need a browser which full supports HTML5 Canvas to run SpreadJS"
라는 문구와 함께 데이터가 표기가 안되어.. 확인해본결과.
아래와 같이 Network 탭의 Response 나 Preview 탭에 원하는 데이터가 있는 것을 발견하였습니다.
아래 데이터를 받아노는 방법이있나요??.
보안문제로 selenium을 통해서 페이지에 접근을 해야하며.. selenium-wire를 통해 현재 페이지의 payload 까지 가져오는데는 성공하였습니다.

selenium selenium-wire 웹-크롤링 python

Answer 2

0

kgeonhoe0622

감사합니다. 잘 작동합니다.

0

DeepingSauce

안녕하세요.

제가 정확한 상황판단이 어렵지만,

get network packet in python selenium 등으로 구글링을 해보니

https://stackoverflow.com/questions/52633697/selenium-python-how-to-capture-network-traffics-response

과 같은 글이 나오네요. 혹시 도움이 될까요?

15.1 네이버 부동산 사이트 개발자도구 실행시 현상 문의

0

934

1

requirments 설치 시 오류

0

118

1

6.1 미국주식 데이터 크롤링이 막혔네요.

0

254

2

태그를 못찾는 오류 질문드립니다.

0

157

2

6.1 미국 주식 데이터 크롤링을 막아둔 거 같아요.

0

293

2

requirements.txt 다운로드가 안끝나요

0

158

2

주신 파일로 다운로드를 하던 중에 끝에 이런 오류가 뜨는데 어떡해야하나요?

0

161

1

혹시 애플 M시리즈 사용하시는 분 중에 오류

0

156

0

전일비 상승,하락때문에 int화를 못하고 있는데

0

137

1

일별 시세 데이터 상승/하락 \t\n해결법

0

166

1

pd.concat(df, ignore_index=True) InvalidIndexError 해결 방법 문의

0

500

2

pip install -r requirements.txt 문제

0

387

3

부동산 KB 시세 크롤링 문의

0

848

1

7.1 주식 일별 시세 데이터(Yahoo finance)

1

395

1

네이버 부동산 매물 크롤링 오류

0

663

1

네이버 부동산 크롤링 문의드립니다.

0

1068

1

버전 관련 질문

0

367

1

5.2강 주식 일별 시세 데이터 관련 질문이 있습니다

0

292

1

7.1 야후 파이낸스 크롤링 request 오류

0

749

1

anaconda

0

367

1

야후파이낸스 크롤링 오류

0

839

1

셀레니움 변경점

2

801

1

request.get() 하면 SSLCertVerificationError 에러가 납니다.

0

533

1

이론 수업 자료 공유 해주실 수 있나요?

0

364

0