inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

jsoup 크롤링중 필요한 html 부분이 빠져있는데 조언해주시면 감사하겠습니다.

276

재사앙

작성한 질문수 4

0

 

이미지를 크롤링하는게 목표입니다만 , java에서 실행해보면 저 리스트는 빠진 html 이 호출됩니다.

 

 

찾아본 결과 jsoup 은 동적페이지 파싱할때 구조적인 문제가 있다고 들었습니다.

 

셀레니움,파이썬 등 다른방법이 있겠지만 저는 jsoup으로 문제를 해결해야해서 알아보고있습니다 

 

request header 를 작성하면 가져올수 있다고 까지 알아냈는데 그 이상은 이해가 잘 가지 않습니다.

 

독학중이라 질문이 조금 난해할 수 있다는점 미리 사과드리겠습니다.

 

개발자도구 네트워크에서 document 유형의 파일을 눌러 나오는 request header 를 

 

자바 jsoup 코드에 작성해주면 해결된다 라고 봤는데 어떤걸 어떻게 넣어야 하는가를 못찾겠습니다

 

.header ( xxxx xxx xx )

.

.

 

이런식으로 작성하는 코드진행을 본 것 같은데 저기에 어떤걸 기입해야 하는건가요?

요청헤더의 어떤걸 어떻게 넣어야하는가 를 해결 못하겠습니다. 조언부탁드립니다.

jsoup crawling

답변 0

HTML 에서 a 태그의 href 만 뽑아오기

0

389

1

크롤링 중 list index out of range 에러 도움 부탁드립니다

0

628

0