루리웹 중고장터 한 게시글을 크롬 개발자 도구로 보았을 때에는 영상과 같이 table 태그 3번째 태그아래에 p 태그(게시글 내용이 들어가는 곳)가 있었는데요, 파이썬으로 크롤링하여 가져온 html에서는 p태그가 들어가있는 table태그가 상위 table태그없이 혼자 독립적으로 있는것을 확인했습니다.
이런 차이가 생기는 이유가 무엇인가요??

네 안녕하세요. knee님

좋은 질문입니다.

브라우저로 요청시는 일반적으로 javascript 등을 통한 ajax 비동기 처리로 생성되는 태그들이
렌더링되어 보여집니다.

일반적으로 크롤링 처리는 처음 request 요청 부분에대한 태그 정보만 수신해오기 때문에
차이가 있는 거예요.

후에 섹션 3등에서 selenium을 수업을 들으시면 자연스럽게 해결 됩니다.

감사합니다.

인프런 커뮤니티 질문&답변

크롬개발자도구로 본 html코드와 파이썬으로 크롤링해온 html코드가 다른 이유는 무엇인가요?