inflearn logo
강의

Khóa học

Chia sẻ kiến thức

Tự động hóa và thu thập dữ liệu web bằng Python để tiếp quản công việc của tôi (feat. Chứng khoán, dữ liệu bất động sản / Instagram)

개발도구 페이지 network preview 나 network response Json 가져오는법

1909

kgeonhoe0622

2 câu hỏi đã được viết

0

안녕하세요 유용한 강의 감사드립니다.
강의내용과는 무관합니다만.. 크롤링관련 막히는 부분이있어 조언을 얻고자 문의드립니다.
강의를 전부 듣고 업무에 활용하고자 회사 클라우드 서버의 erp 데이터를 가져오려고 합니다만.
souce code 상에는 "You need a browser which full supports HTML5 Canvas to run SpreadJS"
라는 문구와 함께 데이터가 표기가 안되어.. 확인해본결과.
아래와 같이 Network 탭의 Response 나 Preview 탭에 원하는 데이터가 있는 것을 발견하였습니다.
아래 데이터를 받아노는 방법이있나요??.
보안문제로 selenium을 통해서 페이지에 접근을 해야하며.. selenium-wire를 통해 현재 페이지의 payload 까지 가져오는데는 성공하였습니다.

selenium selenium-wire 웹-크롤링 python

Câu trả lời 2

0

kgeonhoe0622

감사합니다. 잘 작동합니다.

0

DeepingSauce

안녕하세요.

제가 정확한 상황판단이 어렵지만,

get network packet in python selenium 등으로 구글링을 해보니

https://stackoverflow.com/questions/52633697/selenium-python-how-to-capture-network-traffics-response

과 같은 글이 나오네요. 혹시 도움이 될까요?

15.1 네이버 부동산 사이트 개발자도구 실행시 현상 문의

0

864

1

requirments 설치 시 오류

0

84

1

6.1 미국주식 데이터 크롤링이 막혔네요.

0

204

2

태그를 못찾는 오류 질문드립니다.

0

130

2

6.1 미국 주식 데이터 크롤링을 막아둔 거 같아요.

0

261

2

requirements.txt 다운로드가 안끝나요

0

133

2

주신 파일로 다운로드를 하던 중에 끝에 이런 오류가 뜨는데 어떡해야하나요?

0

144

1

혹시 애플 M시리즈 사용하시는 분 중에 오류

0

145

0

전일비 상승,하락때문에 int화를 못하고 있는데

0

120

1

일별 시세 데이터 상승/하락 \t\n해결법

0

152

1

pd.concat(df, ignore_index=True) InvalidIndexError 해결 방법 문의

0

448

2

pip install -r requirements.txt 문제

0

353

3

부동산 KB 시세 크롤링 문의

0

811

1

7.1 주식 일별 시세 데이터(Yahoo finance)

1

372

1

네이버 부동산 매물 크롤링 오류

0

638

1

네이버 부동산 크롤링 문의드립니다.

0

1044

1

버전 관련 질문

0

344

1

5.2강 주식 일별 시세 데이터 관련 질문이 있습니다

0

276

1

7.1 야후 파이낸스 크롤링 request 오류

0

738

1

anaconda

0

355

1

야후파이낸스 크롤링 오류

0

822

1

셀레니움 변경점

2

790

1

request.get() 하면 SSLCertVerificationError 에러가 납니다.

0

511

1

이론 수업 자료 공유 해주실 수 있나요?

0

360

0