inflearn logo
강의

Course

Instructor

Python Web Crawling & Automation to Do My Work (feat. Stock, Real Estate Data / Instagram)

개발도구 페이지 network preview 나 network response Json 가져오는법

1911

kgeonhoe0622

2 asked

0

안녕하세요 유용한 강의 감사드립니다.
강의내용과는 무관합니다만.. 크롤링관련 막히는 부분이있어 조언을 얻고자 문의드립니다.
강의를 전부 듣고 업무에 활용하고자 회사 클라우드 서버의 erp 데이터를 가져오려고 합니다만.
souce code 상에는 "You need a browser which full supports HTML5 Canvas to run SpreadJS"
라는 문구와 함께 데이터가 표기가 안되어.. 확인해본결과.
아래와 같이 Network 탭의 Response 나 Preview 탭에 원하는 데이터가 있는 것을 발견하였습니다.
아래 데이터를 받아노는 방법이있나요??.
보안문제로 selenium을 통해서 페이지에 접근을 해야하며.. selenium-wire를 통해 현재 페이지의 payload 까지 가져오는데는 성공하였습니다.

selenium selenium-wire 웹-크롤링 python

Answer 2

0

kgeonhoe0622

감사합니다. 잘 작동합니다.

0

DeepingSauce

안녕하세요.

제가 정확한 상황판단이 어렵지만,

get network packet in python selenium 등으로 구글링을 해보니

https://stackoverflow.com/questions/52633697/selenium-python-how-to-capture-network-traffics-response

과 같은 글이 나오네요. 혹시 도움이 될까요?

15.1 네이버 부동산 사이트 개발자도구 실행시 현상 문의

0

881

1

requirments 설치 시 오류

0

90

1

6.1 미국주식 데이터 크롤링이 막혔네요.

0

218

2

태그를 못찾는 오류 질문드립니다.

0

135

2

6.1 미국 주식 데이터 크롤링을 막아둔 거 같아요.

0

270

2

requirements.txt 다운로드가 안끝나요

0

140

2

주신 파일로 다운로드를 하던 중에 끝에 이런 오류가 뜨는데 어떡해야하나요?

0

148

1

혹시 애플 M시리즈 사용하시는 분 중에 오류

0

149

0

전일비 상승,하락때문에 int화를 못하고 있는데

0

123

1

일별 시세 데이터 상승/하락 \t\n해결법

0

155

1

pd.concat(df, ignore_index=True) InvalidIndexError 해결 방법 문의

0

457

2

pip install -r requirements.txt 문제

0

360

3

부동산 KB 시세 크롤링 문의

0

827

1

7.1 주식 일별 시세 데이터(Yahoo finance)

1

377

1

네이버 부동산 매물 크롤링 오류

0

643

1

네이버 부동산 크롤링 문의드립니다.

0

1058

1

버전 관련 질문

0

349

1

5.2강 주식 일별 시세 데이터 관련 질문이 있습니다

0

277

1

7.1 야후 파이낸스 크롤링 request 오류

0

739

1

anaconda

0

357

1

야후파이낸스 크롤링 오류

0

822

1

셀레니움 변경점

2

791

1

request.get() 하면 SSLCertVerificationError 에러가 납니다.

0

519

1

이론 수업 자료 공유 해주실 수 있나요?

0

361

0