inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)

개발도구 페이지 network preview 나 network response Json 가져오는법

1909

김건회

작성한 질문수 2

0

안녕하세요 유용한 강의 감사드립니다.
강의내용과는 무관합니다만.. 크롤링관련 막히는 부분이있어 조언을 얻고자 문의드립니다.
강의를 전부 듣고 업무에 활용하고자 회사 클라우드 서버의 erp 데이터를 가져오려고 합니다만.
souce code 상에는 "You need a browser which full supports HTML5 Canvas to run SpreadJS"
라는 문구와 함께 데이터가 표기가 안되어.. 확인해본결과.
아래와 같이 Network 탭의 Response 나 Preview 탭에 원하는 데이터가 있는 것을 발견하였습니다.
아래 데이터를 받아노는 방법이있나요??.
보안문제로 selenium을 통해서 페이지에 접근을 해야하며.. selenium-wire를 통해 현재 페이지의 payload 까지 가져오는데는 성공하였습니다.

selenium selenium-wire 웹-크롤링 python

답변 2

0

김건회

감사합니다. 잘 작동합니다.

0

DeepingSauce

안녕하세요.

제가 정확한 상황판단이 어렵지만,

get network packet in python selenium 등으로 구글링을 해보니

https://stackoverflow.com/questions/52633697/selenium-python-how-to-capture-network-traffics-response

과 같은 글이 나오네요. 혹시 도움이 될까요?

15.1 네이버 부동산 사이트 개발자도구 실행시 현상 문의

0

862

1

requirments 설치 시 오류

0

84

1

6.1 미국주식 데이터 크롤링이 막혔네요.

0

203

2

태그를 못찾는 오류 질문드립니다.

0

130

2

6.1 미국 주식 데이터 크롤링을 막아둔 거 같아요.

0

261

2

requirements.txt 다운로드가 안끝나요

0

132

2

주신 파일로 다운로드를 하던 중에 끝에 이런 오류가 뜨는데 어떡해야하나요?

0

144

1

혹시 애플 M시리즈 사용하시는 분 중에 오류

0

145

0

전일비 상승,하락때문에 int화를 못하고 있는데

0

120

1

일별 시세 데이터 상승/하락 \t\n해결법

0

152

1

pd.concat(df, ignore_index=True) InvalidIndexError 해결 방법 문의

0

448

2

pip install -r requirements.txt 문제

0

353

3

부동산 KB 시세 크롤링 문의

0

811

1

7.1 주식 일별 시세 데이터(Yahoo finance)

1

372

1

네이버 부동산 매물 크롤링 오류

0

637

1

네이버 부동산 크롤링 문의드립니다.

0

1044

1

버전 관련 질문

0

344

1

5.2강 주식 일별 시세 데이터 관련 질문이 있습니다

0

276

1

7.1 야후 파이낸스 크롤링 request 오류

0

738

1

anaconda

0

355

1

야후파이낸스 크롤링 오류

0

822

1

셀레니움 변경점

2

790

1

request.get() 하면 SSLCertVerificationError 에러가 납니다.

0

511

1

이론 수업 자료 공유 해주실 수 있나요?

0

359

0