jsoup 크롤링중 필요한 html 부분이 빠져있는데 조언해주시면 감사하겠습니다.

22.03.28 19:02 작성 조회수 199

0

 

이미지를 크롤링하는게 목표입니다만 , java에서 실행해보면 저 리스트는 빠진 html 이 호출됩니다.

 

 

찾아본 결과 jsoup 은 동적페이지 파싱할때 구조적인 문제가 있다고 들었습니다.

 

셀레니움,파이썬 등 다른방법이 있겠지만 저는 jsoup으로 문제를 해결해야해서 알아보고있습니다 

 

request header 를 작성하면 가져올수 있다고 까지 알아냈는데 그 이상은 이해가 잘 가지 않습니다.

 

독학중이라 질문이 조금 난해할 수 있다는점 미리 사과드리겠습니다.

 

개발자도구 네트워크에서 document 유형의 파일을 눌러 나오는 request header 를 

 

자바 jsoup 코드에 작성해주면 해결된다 라고 봤는데 어떤걸 어떻게 넣어야 하는가를 못찾겠습니다

 

.header ( xxxx xxx xx )

.

.

 

이런식으로 작성하는 코드진행을 본 것 같은데 저기에 어떤걸 기입해야 하는건가요?

요청헤더의 어떤걸 어떻게 넣어야하는가 를 해결 못하겠습니다. 조언부탁드립니다.

답변 0

답변을 작성해보세요.

답변을 기다리고 있는 질문이에요.
첫번째 답변을 남겨보세요!