묻고 답해요

jsoup 크롤링중 필요한 html 부분이 빠져있는데 조언해주시면 감사하겠습니다.

미해결

이미지를 크롤링하는게 목표입니다만 , java에서 실행해보면 저 리스트는 빠진 html 이 호출됩니다. 찾아본 결과 jsoup 은 동적페이지 파싱할때 구조적인 문제가 있다고 들었습니다. 셀레니움,파이썬 등 다른방법이 있겠지만 저는 jsoup으로 문제를 해결해야해서 알아보고있습니다 request header 를 작성하면 가져올수 있다고 까지 알아냈는데 그 이상은 이해가 잘 가지 않습니다. 독학중이라 질문이 조금 난해할 수 있다는점 미리 사과드리겠습니다. 개발자도구 네트워크에서 document 유형의 파일을 눌러 나오는 request header 를 자바 jsoup 코드에 작성해주면 해결된다 라고 봤는데 어떤걸 어떻게 넣어야 하는가를 못찾겠습니다 .header ( xxxx xxx xx ) . . . 이런식으로 작성하는 코드진행을 본 것 같은데 저기에 어떤걸 기입해야 하는건가요? 요청헤더의 어떤걸 어떻게 넣어야하는가 를 해결 못하겠습니다. 조언부탁드립니다.

• jsoup
• crawling